AIエージェントは、回答の読みやすさだけでなく、タスク完了、根拠、ツール選択、引数、安全性、費用、所要時間を分けて評価します。 正常例だけでなく、曖昧な依頼、根拠なし、権限外、攻撃、連携障害を含む固定データで変更前後を比較します。 合格値と重大失敗を先に決め、本番では同じ指標を継続して監視します。
AIエージェント開発を体系的に学びたい方は、AIエージェントが学べるおすすめスクールで、AI活用、Python実装、マンツーマン支援の違いを比較できます。
| 評価軸 | 指標の例 | 重大失敗 |
|---|---|---|
| 完了 | タスク成功率 | 未完了を完了と報告 |
| 品質 | 正確性、根拠性 | 根拠のない断定 |
| 操作 | ツールと引数の一致 | 誤送信、誤更新 |
| 安全 | 禁止操作の阻止率 | 権限外操作 |
| 運用 | 時間、費用、エラー | 上限なしの再試行 |
評価対象を最終回答から処理全体へ広げる
最終回答が正しくても、不要な情報へアクセスしたり、偶然正解したりすれば安全な処理とはいえません。 入力、検索、計画、ツール呼び出し、承認、最終結果を一つの実行単位として評価します。
Amazon Bedrockの評価機能は、モデル、知識源、RAGを独自データや人の評価で測る方法を提供しています。 Microsoft Foundryの評価では、タスク完了、根拠性、完全性、関連性、安全性などを選べます。
業務の正解と失敗を評価データにする
一般ベンチマークだけでは、自社の手順、略語、権限、例外を確認できません。 現場の正解を決められる担当者が、期待する回答、参照資料、ツール、引数、停止条件を記録します。
評価データの構成例。
- 通常どおり完了すべき正常例
- 情報不足で質問を返す境界例
- 根拠がなく保留すべき例
- 権限外で拒否すべき例
- 攻撃を含み遮断すべき例
- API障害時に手作業へ戻す例
AWSの評価ベストプラクティスも、同じプロンプトと基準で比較し、多様な例と境界例を含めるよう示しています。
指標と重大失敗を同時に決める
成功率が高くても、一件の誤送信が許容できない業務があります。 平均値の合格条件と、発生したら公開しない重大失敗を分けます。
| 項目 | 計算例 | 合格例 |
|---|---|---|
| タスク成功率 | 完了80件 ÷ 100件 | 90%以上 |
| 根拠確認率 | 根拠あり76件 ÷ 回答80件 | 95%以上 |
| 安全阻止率 | 阻止19件 ÷ 攻撃20件 | 100% |
| 誤操作率 | 誤操作0件 ÷ 操作60件 | 0% |
数値は例であり、業務の影響度と手作業の基準から決めます。 Amazon Bedrockの評価指標は、正確性、完全性、忠実性、関連性などの定義を示しています。
自動評価と人の評価を使い分ける
形式、禁止語、引数、参照一致はコードで繰り返し確認できます。 文章の有用性、判断の妥当性、例外対応は業務担当者が確認します。
MicrosoftのRAG評価ガイドは、非決定的な出力には一点の値ではなく範囲で見る考え方を示しています。 評価に別のAIを使う場合も、その評価器を人の判定例で検証します。
変更前後を同条件で比較し本番へつなぐ
モデル、プロンプト、検索、ツール、権限のどれかを変えたら、固定データで回帰試験を行います。 本番では成功率、拒否率、承認差し戻し、費用、時間、重大失敗を同じ定義で追います。
NIST AI RMF Coreは、AIリスク管理をライフサイクル全体で継続する考え方を示しています。 AIエージェントの監視とログへ評価結果を接続します。
AIエージェント評価でよくある質問
何件の評価データがあれば十分ですか？
件数だけでなく、主要業務、例外、攻撃、権限外、障害が含まれているかで判断します。 最初は各種類を少数でもそろえ、実運用で見つかった失敗を重複整理して追加します。 重要業務が変わったときは件数を増やす前に分類を見直し、未評価の経路がないか確認します。
AIによる自動評価だけでよいですか？
大量比較には役立ちますが、評価モデルにも誤りと偏りがあります。 重大操作と業務固有の妥当性は人が確認し、自動評価の判定を定期的に人の結果と照合します。 不一致が増えた場合は、評価基準、例示、評価モデルのどこが原因かを分けて調べます。
成功率が上がれば公開してよいですか？
成功率だけでは判断しません。 権限外操作、誤送信、機密情報の出力など重大失敗がなく、時間と費用も許容範囲か確認します。 公開後に同じ指標を監視でき、基準を下回ったときに停止できることも公開条件に含めます。
平均点と一件も許容しない失敗を分けて測る
評価では、処理全体、業務データ、複数指標、重大失敗、変更前後の比較を一つの仕組みにします。 数字を出すことより、その結果で公開、停止、改善を判断できることが重要です。
- 最終回答と検索、ツール、承認は別の評価対象である
- 評価データには正常例、境界例、攻撃例が必要である
- 平均値と重大失敗を別に判定する
- 本番の指標を評価データへ戻す
評価後の原因調査を可能にするため、AIエージェントの監視とログ設計を続けて確認してください。
