事前学習は、大量のデータを使って、モデルに最初に行う学習です。自己回帰型の言語モデルの場合は、ラベルの無い大量の文章を使い、前の文脈から次の語を予測する課題で学習させます。
事前学習を終えたモデルは、そのままでは質問に答えたり指示に従ったりすることが得意ではなく、ファインチューニングなどの追加の学習で調整します（Anthropic の用語集）。日本の「AI 事業者ガイドライン」（第1.2版）は、この追加の学習を事後学習と呼んでいます。
Google の機械学習の用語集は、事前学習済みモデル（pre-trained model）を、学習を終えた LLM などの生成 AI モデルを指す語としています。膨大で多様なデータで事前学習し、追加の調整の土台にもなる大きなモデルを、基盤モデル（foundation model）と呼んでいます。
- 読み
- じぜんがくしゅう
- 英語
- Pre-training
- 業界
- 製造業、教育機関
- 業務
- AI 活用
- 出典の確認日