LLM入門

合計 2 件の記事があります。現在 1 ページ中の 1 ページ目です。

6.1 データセットの前処理 - トレーニングデータのクリーニングと最適化方法

LLM（大規模言語モデル）のトレーニングに使用されるデータセットの前処理手法を解説します。データのクリーニング、トークン化、バイアス軽減、サンプリングなど、効果的な学習のためのプロセスを紹介します。

2024-10-17

1.2 確率論の基本と対話生成｜LLMの次単語予測を学ぶ

LMは対話を“一単語ずつの確率予測”で生成します。本記事では「P(次の単語｜文脈)」の考え方、自己回帰的生成、Top-kサンプリングやTemperature制御まで、確率論の基礎を対話例とともにわかりやすく解説します。

2024-10-04

カテゴリー

LLM入門：RAGで強化する生成

MCP入門：AIに文脈を理解させる技術

LLM入門 X 数学

LLM入門しくみから学ぶ生成AIの基礎

LLM入門実践Python

タグ

LLM 36 RAG 35 LLM 26 MCP 23 LangChain 18 Python 17 プロンプト設計 17 生成AI 17 自然言語処理 13 モデルコンテキストプロトコル 9

検索履歴

会話履歴 3410 大規模言語モデル 602 言語モデル 577 生成型要約 564 エンジニア向け 553 マルコフ連鎖 543 LLM 539 LLM 要約 532 データ前処理 525 注意メカニズム 519 自動要約 518 教育AI 516 バッチサイズ 512 パーソナライズドコンテンツ 510 GPT テキスト生成 509 バイアス問題 506 NLP トランスフォーマー 505 数学的アプローチ 504 クロスエントロピー損失 503 ミニバッチ学習 499 トークン化 496 LLM テキスト生成 493 ロス計算 476 コード生成 471 線形代数 471 トレーニング 469 LLM リアルタイム処理 467 FAQシステム 466 GPT-2 テキスト生成 465 セルフアテンション 464

チーム

任弘毅

株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。

下田昌平

開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。