コンテキストウィンドウは、LLM が回答を作るときに一度に参照できる文章の範囲です。大きさはトークンの数で数え、入力した指示や資料と、出力する回答の両方が含まれます。

Anthropic の文書は、学習に使ったデータとは別の、モデルの「作業用の記憶」にあたると説明しています。同じ文書は、トークンの数が増えるほど、正確さと思い出す力が下がる現象(context rot)にも触れています。

文書の全体や大きすぎるかたまりを LLM に渡すと、費用が増え、モデルのトークンの上限を超えるおそれがあります。RAG で文書をチャンクに分け、質問に関係する部分だけを渡すのは、このためです。

読み
こんてきすとうぃんどう
英語
Context window
業界
製造業、教育機関
業務
AI 活用
出典の確認日

用語集の一覧へ

関係する用語

このサイトの関連するページ

出典

用語集の一覧へ ›

まず、実物を
見てください。

問いで止まる動画。資料からつくった動画。該当箇所を示して答える AI。デモで、実際の画面をお見せします。

気になる0