コンテキストウィンドウは、LLM が回答を作るときに一度に参照できる文章の範囲です。大きさはトークンの数で数え、入力した指示や資料と、出力する回答の両方が含まれます。
Anthropic の文書は、学習に使ったデータとは別の、モデルの「作業用の記憶」にあたると説明しています。同じ文書は、トークンの数が増えるほど、正確さと思い出す力が下がる現象(context rot)にも触れています。
文書の全体や大きすぎるかたまりを LLM に渡すと、費用が増え、モデルのトークンの上限を超えるおそれがあります。RAG で文書をチャンクに分け、質問に関係する部分だけを渡すのは、このためです。
- 読み
- こんてきすとうぃんどう
- 英語
- Context window
- 業界
- 製造業、教育機関
- 業務
- AI 活用
- 出典の確認日
