ジェイルブレイクは、AI モデルの出力にかけられた制限を回避させるために、細工をしたプロンプトを直接入力する攻撃です。モデルが本来は断る内容を、出力させることをねらいます。
米国の NIST の文書（NIST AI 100-2 E2025）の用語集は、モデルの出力への制限を回避するための、直接のプロンプトによる攻撃と定義しています。NIST AI 600-1 は、出力の制御を回避するようにプロンプトを操作することと説明しています。
プロンプトインジェクションとの関係は、文書によって書き方が違います。OWASP は、ジェイルブレイクをプロンプトインジェクションの一種とし、モデルに安全のための決まりを無視させる入力としています。NIST の用語集は、プロンプトインジェクションを、信頼できない入力が、開発者などの作ったプロンプトとつなげて処理されることを突く攻撃と定義しています。
- 読み
- じぇいるぶれいく
- 英語
- Jailbreak
- 業界
- 製造業、教育機関
- 業務
- AI 活用
- 出典の確認日