LLM入門
合計 3 件の記事があります。
現在 1 ページ中の 1 ページ目です。
3.1 LLMのサブワードトークナイザーの使用方法|BERTやGPT-2でのトークン化の解説
サブワードトークナイザーを使用したLLMのトークン化方法を解説。Hugging FaceのBERTやGPT-2トークナイザーを使用し、Pythonコード例で具体的な実装方法を紹介します。
2024-11-10
6.1 データセットの前処理 - トレーニングデータのクリーニングと最適化方法
LLM(大規模言語モデル)のトレーニングに使用されるデータセットの前処理手法を解説します。データのクリーニング、トークン化、バイアス軽減、サンプリングなど、効果的な学習のためのプロセスを紹介します。
2024-10-17
3.1 LLMのデータセットと前処理 | データクリーニングとトークナイゼーションの重要性
LLM(大規模言語モデル)のトレーニングに必要なデータセットと前処理をエンジニア向けに解説。データのノイズ除去、トークナイゼーション、正規化、データバランスの取り方について詳しく説明します。
2024-09-12
カテゴリー
検索履歴
会話履歴 5090
LLM 968
大規模言語モデル 826
言語モデル 805
生成型要約 769
GPT-2 テキスト生成 737
注意メカニズム 729
GPT テキスト生成 718
NLP トランスフォーマー 711
エンジニア向け 701
マルコフ連鎖 699
教育AI 698
バイアス 問題 697
LLM テキスト生成 691
クロスエントロピー損失 688
LLM 要約 680
データ前処理 680
トレーニング 678
バッチサイズ 676
パーソナライズドコンテンツ 672
トークン化 661
自動要約 654
数学的アプローチ 650
ロス計算 645
ミニバッチ学習 638
コード生成 629
LLM リアルタイム処理 627
セルフアテンション 626
線形代数 617
FAQシステム 616
チーム
任 弘毅
株式会社レシートローラーにて開発とサポートを担当。POSレジやShopifyアプリ開発の経験を活かし、業務のデジタル化を促進。
下田 昌平
開発と設計を担当。1994年からプログラミングを始め、今もなお最新技術への探究心を持ち続けています。