RAG の評価

RAG の評価は、RAG のしくみが出す結果の質を、検索の段階と回答の段階に分けて測ることです。検索では、関係する文書を取り出せたかを確かめます。回答では、渡した文書にもとづいて質問に答えているかを確かめます。

Microsoft の設計の手引きは、検索の指標に、上位 K 件のうち関係するものの割合（Precision at K）、関係するもの全体のうち上位 K 件に入った割合（Recall at K）を挙げています。最初の関係する結果の順位の逆数の平均（MRR。Mean Reciprocal Rank）も挙げています。

回答の指標には、回答が渡した文書だけにもとづいているか（groundedness。faithfulness とも呼ぶ）、質問のすべての部分に答えているか（completeness）があります。質問に合っているか（relevance）なども、回答の指標です。論文 RAGAs（EACL 2024）は、人が正解を用意しなくても測れる指標を示しました。

英語

RAG evaluation

業界

製造業、教育機関

業務

AI 活用

出典の確認日

2026年10月7日

「気になる」に追加用語集の一覧へ

関係する用語

• RAG（検索拡張生成）：RAG（Retrieval-Augmented Generation。検索拡張生成）は、質問に関係する文書を検索で探し、その内容…
• グラウンディング：グラウンディングは、生成 AI の回答を、検索の結果や社内の文書など、確かめられる情報源にもとづかせることです。回答の根拠を示せ…
• ハルシネーション：ハルシネーションは、生成 AI が、誤った内容や偽の内容を、自信のある書き方で出力する現象です。米国の NIST の文書（NIS…
• リランキング：リランキングは、最初の検索で集めた候補を、質問との関連の強さで並べ直す処理です。最初の検索は取りこぼしを減らすことを、リランキン…

出典

• Microsoft Learn: Develop a RAG Solution - Large Language Model End-to-End Evaluation Phase（2025年11月21日更新）（別のタブで開きます）
• Microsoft Learn: Develop a RAG Solution - Information-Retrieval Phase（2026年7月2日更新）（別のタブで開きます）
• Es ほか「RAGAs: Automated Evaluation of Retrieval Augmented Generation」EACL 2024 System Demonstrations、pp. 150–158（別のタブで開きます）