AIエージェントのハルシネーション対策では、もっともらしい回答を禁止するだけでなく、根拠がないときに回答や操作を止める条件を作ります。 参照資料を限定し、出典と回答の対応を検証し、重要な判断はルールや人の確認へ戻します。 正答率だけでなく、根拠なし回答率、誤操作率、保留できた割合を継続して測ります。
AIエージェント開発を体系的に学びたい方は、AIエージェントが学べるおすすめスクールで、AI活用、Python実装、マンツーマン支援の違いを比較できます。
| 誤り | 例 | 止める方法 |
|---|---|---|
| 事実の作成 | 存在しない規則を答える | 根拠必須 |
| 検索の誤り | 関係ない資料を使う | 検索評価 |
| 計画の誤り | 不要な操作へ進む | 手順制約 |
| 引数の誤り | 別の宛先を指定する | 型と値の検証 |
| 過信 | 不確かなまま断定する | 保留と人への移管 |
ハルシネーションを回答だけの問題にしない
エージェントでは、誤った事実が検索、計画、ツール引数、外部操作へ連鎖します。 文章の自然さではなく、事実、根拠、手順、操作結果を別々に評価します。
NISTの生成AI Profileは、誤った内容を自信を持って生成する問題をConfabulationとして整理しています。 OWASP LLM Top 10も、過信と不十分な出力処理をリスクとして扱っています。
参照資料と回答の根拠を対応させる
社内検索を追加しても、取得した資料が質問に合わなければ誤りは減りません。 資料の更新日、権限、対象業務を管理し、回答中の主張がどの箇所に基づくか確認します。
MicrosoftのGroundedness detectionは、回答が提供された資料に基づいているかを検出します。 Amazon Bedrockの評価指標では、正確性、完全性、忠実性、関連性などを分けています。
| 確認対象 | 合格条件 | 不合格時 |
|---|---|---|
| 検索結果 | 質問に関連する | 再検索 |
| 回答の主張 | 資料で確認できる | 削除または保留 |
| 数値と日付 | 原文と一致する | 人へ確認 |
| 操作引数 | 許可値に入る | 実行を拒否 |
不確かなときに止まる条件を決める
「分からないと答える」だけでは、モデルが自信を誤って判断する場合があります。 根拠件数、資料の鮮度、検索結果の関連度、重要語の一致を決定的なルールで確認します。
停止条件の例。
- 根拠資料が一件も取得できない
- 資料同士の数値や結論が矛盾する
- 有効期限を過ぎた規程しか見つからない
- 人、金銭、契約に関わる判断である
- 操作対象や宛先を一意に特定できない
- 評価で未確認のツール経路へ進もうとする
MicrosoftのRAG評価ガイドは、根拠性、完全性などを継続して評価し、条件と結果を記録する考え方を示しています。
重要操作はルールと人の確認へ戻す
文章の提案と、送信や更新の実行は分けます。 金額、宛先、削除対象などはコードで再検証し、影響が大きい操作は人が根拠と差分を確認します。
AWS Agentic AI Lensの人による確認は、操作のリスクに応じて承認を分ける方法を示しています。 人の承認が必要な操作も参照してください。
実際の業務データで継続評価する
一般的な質問だけでは、自社の略語、例外、古い文書、曖昧な依頼を評価できません。 正常例、境界例、攻撃例、根拠なし例を評価データへ入れ、モデルや資料の変更前後で比較します。
Amazon Bedrockの評価機能では、独自データ、モデルによる評価、人による評価を用途に応じて使えます。 評価設計はAIエージェントの評価方法で詳しく確認できます。
ハルシネーション対策でよくある質問
検索機能を付ければ誤回答はなくなりますか？
なくなりません。 検索結果が不適切、古い、権限外という場合があるため、検索の関連性と回答の根拠性を別々に評価します。 根拠が取得できない場合は回答や操作を保留し、再検索または担当者確認へ切り替えます。
温度をゼロにすれば正確になりますか？
出力のばらつきは抑えられますが、資料や指示が誤っていれば同じ誤りを安定して返す可能性があります。 参照資料、検証ルール、停止条件、評価データを整える必要があります。
AIが自信なしと答えたときだけ人へ回せばよいですか？
モデルの自己申告だけには依存しません。 根拠の有無、操作の影響、許可値、資料の鮮度をシステム側で判定し、人へ回す条件を固定します。 条件に該当した実行をログへ残し、過不足があれば評価データと移管基準を更新します。
正解を強制するより根拠がないときに止める
ハルシネーションを完全になくすことは前提にしません。 根拠、手順、操作を別々に検証し、影響が大きい場面では保留と人への移管を選びます。
- 回答、計画、ツール引数は別の評価対象である
- 回答中の主張には対応する参照資料が必要である
- 停止条件を決定的なルールにする
- 実際の失敗例を評価データへ追加する
対策の効果を数値で追うには、AIエージェントの評価方法へ進んでください。
