ベンチマーク（AI の評価）

ベンチマークは、AI モデルの能力を比べるために用意された、決まった課題と採点の方法の集まりです。同じ課題を複数のモデルに解かせ、結果を比べます。AI の評価（evaluation。evals とも呼ぶ）の方法の1つです。

「International AI Safety Report 2026」は、能力の評価の限界を挙げています。多くの評価が、古くなっているか、データ汚染（評価の問題がモデルの学習データに入ること）の影響を受けているか、狭い範囲の課題に偏っているとしています。今の評価の方法は、実際の現場での働きを確実には反映しないともしています。

米国の NIST は、2026年1月30日に、言語モデルの自動のベンチマーク評価の進め方をまとめた文書（NIST AI 800-2）の最初の公開草案を出しました。草案の用語集は、ベンチマークを、データセットと指標の特定の組み合わせと定義しています。本文は、目的を決めてベンチマークを選ぶ、評価を実施する、結果を分析して報告する、の3つに分かれています。

読み

べんちまーく

英語

Benchmark

業界

製造業、教育機関

業務

AI 活用

出典の確認日

2026年10月7日

「気になる」に追加用語集の一覧へ

関係する用語

• LLM（大規模言語モデル）：LLM（Large Language Model。大規模言語モデル）は、大量の文章のデータで学習し、文章の続きを予測するしくみで…
• RAG の評価：RAG の評価は、RAG のしくみが出す結果の質を、検索の段階と回答の段階に分けて測ることです。検索では、関係する文書を取り出せ…
• 学習データ：学習データは、AI モデルの学習に使うデータです。日本の「AI 事業者ガイドライン」（第1.2版）は、学習を、データを使ってモデ…
• AI レッドチーミング：AI レッドチーミングは、攻撃する側の視点で AI システムを試し、弱点や対策の不足を見つける評価の方法です。日本の AI セー…

このサイトの関連するページ

• LLM を業務で使う前に、知っておく言葉は何ですか。トークン、ハルシネーションなど

出典

• International AI Safety Report 2026（2026年2月3日）（別のタブで開きます）
• NIST: Practices for Automated Benchmark Evaluations of Language Models（NIST AI 800-2、最初の公開草案、2026年1月）（別のタブで開きます）
• NIST: Towards Best Practices for Automated Benchmark Evaluations（2026年1月30日）（別のタブで開きます）
• Google for Developers: Machine Learning Glossary - Generative AI（2026年4月13日更新）（別のタブで開きます）