LLM入門

合計 2 件の記事があります。現在 1 ページ中の 1 ページ目です。

6.1 データセットの前処理 - トレーニングデータのクリーニングと最適化方法

LLM（大規模言語モデル）のトレーニングに使用されるデータセットの前処理手法を解説します。データのクリーニング、トークン化、バイアス軽減、サンプリングなど、効果的な学習のためのプロセスを紹介します。

2024-10-17

1.2 確率論の基本と対話生成｜LLMの次単語予測を学ぶ

LMは対話を“一単語ずつの確率予測”で生成します。本記事では「P(次の単語｜文脈)」の考え方、自己回帰的生成、Top-kサンプリングやTemperature制御まで、確率論の基礎を対話例とともにわかりやすく解説します。

2024-10-04

カテゴリー

LLM入門：RAGで強化する生成

MCP入門：AIに文脈を理解させる技術

LLM入門 X 数学

LLM入門しくみから学ぶ生成AIの基礎

LLM入門実践Python

タグ

LLM 36 RAG 35 LLM 26 MCP 23 LangChain 18 Python 17 プロンプト設計 17 生成AI 17 自然言語処理 13 モデルコンテキストプロトコル 9

検索履歴

会話履歴 4201 LLM 737 大規模言語モデル 732 言語モデル 697 生成型要約 677 GPT-2 テキスト生成 652 注意メカニズム 649 GPT テキスト生成 638 NLP トランスフォーマー 633 エンジニア向け 622 クロスエントロピー損失 621 マルコフ連鎖 616 LLM テキスト生成 612 教育AI 611 LLM 要約 598 データ前処理 596 バイアス問題 596 バッチサイズ 596 パーソナライズドコンテンツ 594 トレーニング 586 トークン化 579 自動要約 577 数学的アプローチ 572 セルフアテンション 552 ミニバッチ学習 551 ロス計算 545 コード生成 544 LLM リアルタイム処理 543 FAQシステム 540 線形代数 532

チーム

任弘毅

株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。

下田昌平

開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。