LLM入門
合計 2 件の記事があります。
現在 1 ページ中の 1 ページ目です。
6.1 データセットの前処理 - トレーニングデータのクリーニングと最適化方法
LLM（大規模言語モデル）のトレーニングに使用されるデータセットの前処理手法を解説します。データのクリーニング、トークン化、バイアス軽減、サンプリングなど、効果的な学習のためのプロセスを紹介します。
2024-10-17
1.2 確率論の基本と対話生成｜LLMの次単語予測を学ぶ
LMは対話を“一単語ずつの確率予測”で生成します。本記事では「P(次の単語｜文脈)」の考え方、自己回帰的生成、Top-kサンプリングやTemperature制御まで、確率論の基礎を対話例とともにわかりやすく解説します。
2024-10-04
カテゴリー
検索履歴
会話履歴 846
エンジニア向け 397
マルコフ連鎖 381
生成型要約 374
注意メカニズム 372
自動要約 371
教育AI 370
大規模言語モデル 369
パーソナライズドコンテンツ 367
NLP トランスフォーマー 363
言語モデル 358
トークン化 354
ミニバッチ学習 349
数学的アプローチ 347
データ前処理 338
セルフアテンション 336
GPT テキスト生成 335
クロスエントロピー損失 335
バイアス 問題 332
LLM テキスト生成 329
LLM 要約 325
ロス計算 322
バッチサイズ 319
GPT-2 テキスト生成 316
トレーニング 316
線形代数 316
FAQシステム 313
コード生成 307
自動翻訳 307
自然言語処理 翻訳 307
チーム
任 弘毅
株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。