AIエージェントのテストは、最終回答の正しさだけでなく、選んだ道具、引数、権限、停止条件まで確認します。 同じ入力でも経路が変わるため、単発の成功例ではなく、固定した評価データと実行記録で比較します。 見るべき軸は、仕事を完了できたか、危険な操作を避けたか、同じ条件で許容範囲の結果を再現できたかの三つです。
AIエージェント開発を体系的に学びたい方は、AIエージェントが学べるおすすめスクールで、AI活用、Python実装、マンツーマン支援の違いを比較できます。
| 試験軸 | 確認対象 | 失敗例 |
|---|---|---|
| 精度 | 最終結果と根拠 | 誤った情報で完了 |
| 手順 | 道具と引数 | 不要なAPIを実行 |
| 安全性 | 権限と確認 | 承認なしで更新 |
| 再現性 | 条件とばらつき | 成功率が安定しない |
| 回復性 | 失敗後の遷移 | 無限に再試行 |
成功条件を観察できる単位へ分解する
「役に立つ回答」のような曖昧な基準は採点できません。問い合わせ対応なら、対象顧客を正しく特定したか、規程を参照したか、返金条件を満たすか、更新前に確認したか、結果を記録したかへ分けます。
OpenAIのEvals設計ガイドでは、評価対象を定義し、代表データを用意して、採点方法を選ぶ流れが説明されています。Google Agents CLIの評価ガイドも、道具の選択、引数、手順、複数ターンの成功を別の指標として扱っています。
評価項目の作り方。
- 利用者が得たい最終状態を書く
- 必須の中間行動を列挙する
- 禁止する行動を定義する
- 合格、不合格、要確認の境界を決める
- 自動採点と人手確認を分ける
正常系より失敗系を多めに用意する
実運用では、情報不足、権限不足、APIの混雑、矛盾する指示が発生します。正常系だけで合格しても、例外時に誤った更新を行えば安全とはいえません。
Google Agents CLIの実践チュートリアルでは、テスト、評価、デプロイ、トレース確認を一つの開発工程として扱っています。失敗ケースは後付けせず、主要な成功ケースと同時に用意します。
| ケース群 | 入力例 | 期待する動作 |
|---|---|---|
| 情報不足 | 顧客番号なし | 必要項目を質問 |
| 権限不足 | 他部署の更新 | 実行せず理由を表示 |
| 外部障害 | APIが一時停止 | 上限付きで再試行 |
| 指示衝突 | 規程と依頼が矛盾 | 規程を優先して停止 |
| 危険操作 | 全件削除 | 確認または拒否 |
実行トレースで途中の判断を検証する
最終回答だけを見ると、偶然正解したのか、正しい道具と根拠を使ったのか分かりません。トレースには、選択した道具、引数、応答、再試行、確認、最終状態を残します。
OpenAI Agents SDKのTracing資料では、エージェント実行、モデル生成、道具呼び出しなどを追跡する仕組みが説明されています。秘密情報や個人情報をそのまま記録せず、テストで必要な識別子と判定材料へ絞ります。
トレース確認項目。
- 最初に選んだ道具は妥当か
- 引数は入力条件を満たすか
- 不要な外部呼び出しがないか
- エラー後の再試行は上限内か
- 更新前の確認が記録されているか
- 最終結果と実際の状態が一致するか
安全性と再現性を別の合格条件にする
安全性は、危険な指示、権限外の対象、機密情報を含む入力を使って試します。再現性は、モデル、道具、データ、設定を固定し、同じ評価セットを複数回実行して成功率と失敗型を比べます。
NISTのAI Risk Management Frameworkは、AIリスクを継続的に測定し、管理するための枠組みを公開しています。一度の合格を恒久的な保証にせず、モデル、プロンプト、API、参照データを更新したときに回帰評価を行います。
AIエージェントの評価指標では、成功率や手戻り率を運用KPIへつなげる方法を確認できます。
AIエージェントのテストでよくある質問
何件のテストケースを用意すれば十分ですか？
固定件数より、重要な業務分岐と危険な失敗を覆えているかで判断します。最初は中核の正常系と失敗系から始め、実運用で見つかった失敗を評価セットへ追加します。変更ごとに同じセットを再実行できる状態が大切です。
LLMによる自動採点だけで合否を決められますか？
文章品質の一次判定には使えますが、更新結果や権限違反はシステムの状態と突き合わせます。主観を伴う品質は人手評価を併用し、採点基準と例を固定して判定のばらつきを監視します。
モデルを変更したらすべて再テストする必要がありますか？
少なくとも中核の回帰評価と安全性評価は再実行します。モデル変更で出力だけでなく、道具の選び方や確認の挟み方も変わる可能性があるため、最終文だけを比較せずトレースまで確認します。
合格は回答、操作、安全性の三層で決める
AIエージェントの品質は、きれいな回答だけでは判断できません。仕事の完了、途中の操作、危険時の停止を別々に採点し、変更後も同じ評価を繰り返します。
- 成功条件は観察可能な中間行動まで分解
- 正常系と同時に不足、障害、権限外を試験
- トレースで道具、引数、再試行を確認
- モデルやAPIの変更時は回帰評価を実施
試験を通した試作を本番へ移すときは、AIエージェントの公開と運用で環境と更新手順を整えます。
