LLM入門

合計 2 件の記事があります。現在 1 ページ中の 1 ページ目です。

6.1 データセットの前処理 - トレーニングデータのクリーニングと最適化方法

LLM（大規模言語モデル）のトレーニングに使用されるデータセットの前処理手法を解説します。データのクリーニング、トークン化、バイアス軽減、サンプリングなど、効果的な学習のためのプロセスを紹介します。

2024-10-17

1.2 確率論の基本と対話生成｜LLMの次単語予測を学ぶ

LMは対話を“一単語ずつの確率予測”で生成します。本記事では「P(次の単語｜文脈)」の考え方、自己回帰的生成、Top-kサンプリングやTemperature制御まで、確率論の基礎を対話例とともにわかりやすく解説します。

2024-10-04

カテゴリー

LLM入門：RAGで強化する生成

MCP入門：AIに文脈を理解させる技術

LLM入門 X 数学

LLM入門しくみから学ぶ生成AIの基礎

LLM入門実践Python

タグ

LLM 36 RAG 35 LLM 26 MCP 23 LangChain 18 Python 17 プロンプト設計 17 生成AI 17 自然言語処理 13 モデルコンテキストプロトコル 9

検索履歴

会話履歴 5095 LLM 970 大規模言語モデル 826 言語モデル 806 生成型要約 769 GPT-2 テキスト生成 737 注意メカニズム 730 GPT テキスト生成 719 NLP トランスフォーマー 712 エンジニア向け 702 マルコフ連鎖 699 教育AI 699 バイアス問題 698 LLM テキスト生成 691 クロスエントロピー損失 689 LLM 要約 680 データ前処理 680 トレーニング 679 バッチサイズ 676 パーソナライズドコンテンツ 672 トークン化 663 自動要約 655 数学的アプローチ 650 ロス計算 646 ミニバッチ学習 640 コード生成 629 LLM リアルタイム処理 627 セルフアテンション 627 FAQシステム 617 線形代数 617

チーム

任弘毅

株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。

下田昌平

開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。