スプライングローバル株式会社
お問い合わせ
お知らせ資料から動画を自動生成するSylavids（シラビズ）をリリースしました。

ホーム　／　コラム

AI の回答を、業務で信用できるようにするには、何が要りますか。誤り、古い情報、出典

最終更新日：

スプライングローバル株式会社

AI の回答を業務で信用できるようにするには、モデルを選ぶことのほかに、答えのもとになる文書の準備、見てよい範囲（アクセス権）の引き継ぎ、出典の確認、人による評価が要ります。研究、公的な文書、設計の手引きが挙げている点です。社内の文書を検索して AI に渡す方法（RAG）は、誤りを減らすと期待されていますが、RAG を使っても誤りが残ったという研究があります。

AI の回答は、なぜ誤り、どこまで減らせますか

米国の NIST の文書（NIST AI 600-1、2024年7月）は、生成 AI が誤った内容や偽の内容を自信のある書き方で出力する現象（ハルシネーション）を、生成モデルのしくみから自然に生じるものと説明しています。例に、LLM が次に来る語を予測することを挙げています。

RAG（検索拡張生成）は、質問に関係する文書を検索で探し、その内容を LLM に渡して回答を作らせる方法です。日本の「AI 事業者ガイドライン」（第1.2版）は、RAG の活用などによって、ハルシネーションの抑制が期待されていると述べています。ただし、RAG や検索を組み合わせても、誤りが残ったという研究があります。

研究対象と条件結果
Magesh ほか（2025年）RAG を使う商用の法律調査ツール。2024年3〜5月、202問一般向けのチャットボットより少ないが、ツールごとに 17%〜33% で誤り
Wu ほか（2025年）医療の一般的な質問 800問、7つのモデル。Web 上の出典を示す場合Web 検索を組み合わせたモデルでも、記述の約 30% は出典が支えていない
Joren ほか（2025年）渡した文書が、質問に答えるには足りない場合性能の高いモデルは、答えを控えず、誤った答えを出すことがしばしばある

Magesh ほかの法律の研究は、出典が内容を支えていない答えも、誤りに数えています。

図質問から回答までの流れと、誤りや漏れが入る場所
  1. もともとになる文書古い情報が残る。答えが書かれていない
  2. 1検索する見てよい範囲の外や、紛れた指示を取り出す
  3. 2回答をつくる文書が足りないと、誤った答えを出すことがある
  4. 3出典を付ける出典が、内容を支えていないことがある
  5. 4人が読むAI の出力に、頼りすぎることがある

当社による整理です。箱の説明は、どれも「起きることがある」という意味で、本文で挙げた研究と公的な文書にもとづきます。

古い版の手順を答えることは、ありますか

検索の対象に古い情報が残っていると、新しい情報がそこにあっても、回答の正確さが下がると、ACL 2025 の論文（Ouyang ほか）は報告しました。使ったのは、時とともに変わる現実の事実についての、質問応答のデータです。技術マニュアルの版の違いを調べた研究ではありません。

古さは、モデルの知識と、渡す文書の2つに分けて考えられます（当社の整理）。LLM の知識には、知識のカットオフと呼ぶ期日があり、それより後の情報は、検索の結果などを渡して補います。

渡す文書の側の手がかりは、メタデータです。メタデータは、題名、日付、対象の製品など、文書が何であるかを説明する情報で、文書を探す、絞り込むために使います。版や機種の情報を文書に付けておき、検索の対象を絞る、という使い方が考えられます（当社の整理）。絞り込みをすれば古い版が答えに出なくなる、とは言い切れません。

出典が付いていれば、答えを信用できますか

出典（引用）は、読む人が元の文書で確かめるための手段で、正しさを保証するものではありません。NIST AI 600-1 は、導入の前と運用中に、出力の出典と引用を確かめることを、提案する行動に挙げています。

NIST AI 600-1 は、回答を正当化するように見える根拠や引用が、作られることもあると述べています。Wu ほかの医療の研究では、7つのモデルの回答の 50%〜90% が、付けた出典に完全には支えられていませんでした。Web 上の出典を示す場合の値で、社内の文書をもとにしたしくみの値ではありません。

見せてはいけない文書の中身が、答えに出ることはありませんか

公的な機関や団体の文書は、アクセス権、文書に紛れた指示、入力した情報の学習への利用の3点を挙げています。

アクセス権OWASP の LLM のリスクの一覧（2025年版）は、LLM08:2025 Vector and Embedding Weaknesses を挙げています。アクセス制御が不十分な場合と、複数の利用者の層が同じベクトルデータベースを使う場合です。対策には、細かなアクセス制御と、権限を踏まえたベクトルの置き場を挙げています。
文書に紛れた指示間接的なプロンプトインジェクションです。AI が読み込む Web ページやファイルに、指示を紛れ込ませます。OWASP は LLM01:2025 Prompt Injection に挙げ、RAG を使っても完全には防げないとしています。
入力した情報の学習への利用個人情報保護委員会は、2023年6月2日に注意喚起を公表しました。個人データを含むプロンプトについて、提供者が機械学習に使わないことなどを、十分に確かめるよう求めています。

英国の NCSC は、2025年12月8日のブログで、いまの LLM は、プロンプトの中の指示とデータのあいだに、セキュリティの境界を設けていないと説明しています。OWASP は、知識のもとになるデータに、隠されたコードなどが無いかを、定期的に点検することを挙げています。

文書の側では何を準備し、回答はどう確かめますか

文書の側の準備として、Microsoft の RAG の設計の手引きは、構造と権限の確認を挙げています。

  • 構造：目次、ヘッダー、フッターなど、意味を足さない要素を無視してよいかを確かめます。表は、複雑さ、キャプション、長さを確かめます。
  • 権限：利用者ごとに見てよい内容が違うなら、文書を分けた後も、権限を保つ方法を理解しておきます。

文書の分け方（チャンク分割）も、検索と回答の精度に関わります。くわしくは、PDF のマニュアルを AI に読ませると、何が起きますか に書いています。

回答の確かめ方には、質問と正解の組、利用の記録、人による確認が挙がっています。

  • 質問と正解の組：NIST AI 600-1 は、正解の分かっているデータと比べて、出力の正確さを評価することを挙げています。Microsoft の手引きは、質問、根拠になる文書の文、答えを組にして集めるとしています。集めた文書、質問、答えが、そろっていて正しいかは、その業務を知る人が確かめるとしています。
  • 記録：デジタル庁の国の機関向けのガイドライン（DS-920、2026年6月12日改定）は、利用の記録が取れる場合に、抜き出して点検することを挙げています。
  • 人による確認：「AI 事業者ガイドライン」は、人が AI の出力に頼りすぎる傾向（自動化バイアス）に注意を払い、必要な対策をとることを挙げています。
図文書の側、しくみの側、人の側で、それぞれできること

文書の側

もとを整える

答えのもとになる文書を準備する

  • 構造と表を確かめる
  • 分け方を決める
  • 版や機種の情報を付ける（当社の考え）

しくみの側

範囲と根拠を保つ

検索と回答の動きを決める

  • 見てよい範囲（権限）を引き継ぐ
  • 回答に出典を示す
  • 読み込むデータを点検する

人の側

確かめ続ける

導入の前と、運用中に行う

  • 質問と正解の組で評価する
  • 出典を元の文書で確かめる
  • 記録を抜き出して点検する

当社による整理です。本文で挙げた公的な文書と手引きにもとづきます。「版や機種の情報を付ける」は、出典の文ではなく、当社が考える使い方です。

Fluid Topics では、どうなっていますか

ここからは、当社が扱う製品の説明です。Fluid Topics は、技術文書をひとつに集め、人と AI が必要な箇所を取り出せるようにするコンテンツ基盤です。

古い版の手順機種や版の情報を、文書に付けたまま取り込みます。機種、版、言語で絞り込んで検索できます。
見せてはいけない文書企業が決めたアクセス制御を、検索の結果に適用します。アクセスのルールは、チャットボットとの会話にも適用されます（開発元の公表による）。
入力した情報の扱い開発元は、選んだ LLM でのデータの扱いを、その提供元のプライバシーポリシーで確認するよう案内しています。
記録どの文書が読まれ、どの質問に答えがなかったかを見ます。

回答を作る AI モデル（LLM）は、Fluid Topics に含まれません。お客様が選んで、つなぎます。元の文書に、機種や版の情報が付いていない場合は、取り込みのときに付ける作業が要ります。くわしくは、Fluid Topics の製品ページ と 信頼とセキュリティ に書いています。

言い切れないことは、何ですか

  • 「RAG を使えば、誤りは無くなります」とは言えません。「AI 事業者ガイドライン」の書き方は、「抑制が期待されている」です。
  • 「RAG は役に立ちません」とは言えません。Magesh ほかの法律の研究では、一般向けのチャットボットより誤りが少ない結果でした。
  • 研究の数字は、分野、時点、質問の数が決まった条件での値で、自社の文書での割合ではありません。どの研究も、技術マニュアルで測ったものではありません。
  • 「人が確認すれば、十分です」とは言えません。人は、AI の出力に頼りすぎることがあります。
  • 入力した情報を学習に使うかどうかと、保存するかどうかは、別の点です（当社の整理）。

この記事の研究は、特定の製品の効果を測ったものではありません。公的な文書の版は、2026年10月時点のものです。

関連するページ

出典

確かめる

この記事の内容から、2 問です。選ぶと、その場で答えと説明が出ます。

問い 1社内の文書を検索して AI に渡す方法（RAG）と、回答の誤りの関係について、この記事の説明に合うものは、どれですか。

問い 2回答に出典（引用）が付いていることについて、この記事の説明に合うものは、どれですか。

このページを共有する

課題を相談する

読んだ内容を、自社の状況に当てはめたいときは、いまの状況と課題をお知らせください。製品が決まっていなくても、相談できます。大学との共同研究と、教材や文書づくりの支援で得た知見をもとに、進め方を一緒に整理します。

このコラムの内容について相談する

コラムの一覧へ ›

気になる0