LLM入門
合計 2 件の記事があります。
現在 1 ページ中の 1 ページ目です。
3.1 LLMのデータセットと前処理 | データクリーニングとトークナイゼーションの重要性
LLM(大規模言語モデル)のトレーニングに必要なデータセットと前処理をエンジニア向けに解説。データのノイズ除去、トークナイゼーション、正規化、データバランスの取り方について詳しく説明します。
2024-09-12
3.0 LLMのトレーニング方法 | データセット、前処理、ファインチューニングの解説
LLM(大規模言語モデル)のトレーニング方法をエンジニア向けに解説。データセットの前処理、トレーニングのステップ、ファインチューニングやトランスファーラーニングを活用した効率的なモデル構築の方法を詳述。
2024-09-11
カテゴリー
検索履歴
会話履歴 4225
LLM 742
大規模言語モデル 735
言語モデル 703
生成型要約 679
GPT-2 テキスト生成 656
注意メカニズム 650
GPT テキスト生成 639
NLP トランスフォーマー 637
エンジニア向け 625
クロスエントロピー損失 621
マルコフ連鎖 618
LLM テキスト生成 615
教育AI 613
バイアス 問題 602
LLM 要約 600
データ前処理 599
バッチサイズ 598
パーソナライズドコンテンツ 594
トレーニング 588
トークン化 580
自動要約 579
数学的アプローチ 575
セルフアテンション 554
ミニバッチ学習 554
LLM リアルタイム処理 550
ロス計算 548
コード生成 547
FAQシステム 543
線形代数 535
チーム
任 弘毅
株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。