AI レッドチーミング

AI レッドチーミングは、攻撃する側の視点で AI システムを試し、弱点や対策の不足を見つける評価の方法です。日本の AI セーフティ・インスティテュート（AISI）は、AI セーフティへの対応の体制と、対策の有効性を確かめる評価手法と説明しています。

AISI の「AI セーフティに関するレッドチーミング手法ガイド」は、第1.00版が 2024年9月25日、第1.10版が 2025年3月31日に公表されました。LLM を構成要素とする AI システムを主な対象にしています。第1.10版では、RAG を使うシステムでの実施例などが加わりました。

米国の NIST の用語集は、AI システムの欠陥や脆弱性を見つけるための、構造化された試験の取り組みと定義しています。多くは管理された環境で、AI の開発者と協力して行うとしています。NIST AI 600-1 は、プロンプトインジェクションなどへの耐性を調べる手段として挙げています。

英語

AI red teaming

業界

製造業、教育機関

業務

AI 活用、規格と法規制

出典の確認日

2026年10月7日

「気になる」に追加用語集の一覧へ

関係する用語

• AI セーフティ・インスティテュート（AISI）：AI セーフティ・インスティテュート（AISI）は、AI の安全性についての評価手法や基準の検討と推進を行う、日本の機関です。2…
• プロンプトインジェクション：プロンプトインジェクションは、生成 AI に細工をした入力を与えて、意図しない出力や動作をさせる攻撃です。OWASP は、LLM…
• NIST AI リスクマネジメントフレームワーク（AI RMF）：NIST AI リスクマネジメントフレームワーク（AI RMF）は、AI のリスクを組織が管理するための枠組みです。米国の NI…
• RAG（検索拡張生成）：RAG（Retrieval-Augmented Generation。検索拡張生成）は、質問に関係する文書を検索で探し、その内容…

出典

• AISI: AI セーフティに関するレッドチーミング手法ガイド（掲載ページ）（別のタブで開きます）
• AISI: AI セーフティに関するレッドチーミング手法ガイド（第1.10版）令和7年3月31日（別のタブで開きます）
• NIST Computer Security Resource Center: Glossary — artificial intelligence red-teaming（別のタブで開きます）
• NIST: Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile（NIST AI 600-1、2024年7月）（別のタブで開きます）