AIエージェントの監視では、システムの稼働だけでなく、タスク成功、ツール呼び出し、承認、拒否、品質、費用を追います。 ログには入力全文を無条件で残さず、調査に必要な識別子と処理経路を記録し、秘密と個人情報を削減します。 異常を検出した後の通知、停止、権限失効、調査、復旧までを運用手順にします。
AIエージェント開発を体系的に学びたい方は、AIエージェントが学べるおすすめスクールで、AI活用、Python実装、マンツーマン支援の違いを比較できます。
| 監視層 | 見るもの | 異常の例 |
|---|---|---|
| 基盤 | 稼働率、遅延、エラー | 応答不能 |
| モデル | トークン、拒否、品質 | 根拠性低下 |
| エージェント | 計画、ツール、再試行 | ループ |
| 業務 | 完了、差し戻し、誤操作 | 誤送信 |
| 安全 | 攻撃、権限拒否、漏えい | 秘密の出力 |
監視目的から必要なデータを逆算する
障害対応、品質改善、セキュリティ調査、費用管理では必要な記録が異なります。 誰がどの判断に使うかを決め、目的のない入力全文や思考過程を保存しません。
Amazon Bedrock AgentCore Observabilityは、セッション、遅延、時間、トークン、エラーと処理経路を監視できます。 Microsoft Foundryのトレースは、遅延、例外、検索、ツールなどを追跡します。
一回の実行を共通IDでつなぐ
利用者の依頼から最終結果まで、実行ID、セッションID、エージェントIDを付けます。 モデル、検索、ツール、承認、外部APIのログを共通IDで検索できるようにします。
AgentCoreのトレース資料では、モデル呼び出し、ツール呼び出し、結果、例外を実行経路として確認できます。 Microsoft Foundryのトレースデータも、入力、モデル、ツール、中間段階、実行情報を記録対象として示しています。
| 項目 | 記録例 | 注意点 |
|---|---|---|
| 主体 | 利用者ID、エージェントID | 表示名だけにしない |
| 処理 | 実行ID、段階、時刻 | 共通IDで接続 |
| 参照 | 資料ID、版 | 本文は必要時のみ |
| 操作 | ツール、引数の要約 | 秘密を除く |
| 判断 | 承認者、結果、理由 | 改ざんを防ぐ |
| 結果 | 成功、拒否、エラー | 業務結果も残す |
異常条件と通知先を先に決める
ダッシュボードを見るだけでは対応が遅れます。 回数、比率、時間、金額、禁止イベントにしきい値を置き、緊急度別の通知先を決めます。
監視ルールの例。
- 同じツールを五回以上繰り返したら停止する
- 一時間の費用が予算を超えたら新規受付を止める
- 権限拒否が連続したらセキュリティ担当へ通知する
- 根拠なし回答率が基準を超えたら自動回答を止める
- 誤送信または秘密の出力は一件で緊急対応する
AgentCoreの実行時指標では、実行数、セッション、遅延、資源、エラーを確認できます。
ログに秘密と個人情報を残しすぎない
調査のためのログが新しい漏えい源になることがあります。 入力、ツール引数、出力を保存する前にマスキングし、閲覧権限、保存期間、削除、持ち出しを制御します。
AWSの監視ベストプラクティスは、機密情報を監視属性や処理内容から除くよう示しています。 Microsoft Foundryの資料も、秘密をトレースへ保存せず、本番ログと同じアクセス制御と保存方針を適用するよう説明しています。
検出後の停止と復旧まで訓練する
異常時は、新規実行の停止、権限失効、証拠保全、影響範囲の確認、手作業への切り替えを行います。 復旧前に原因と修正を評価データへ加え、同じ異常を再現して合格を確認します。
NIST AI RMF Coreは、導入後の監視、事故対応、復旧、変更管理を継続する項目を含みます。 AIエージェントの評価方法と指標をそろえると、評価と本番のずれを減らせます。
AIエージェント監視でよくある質問
会話全文を保存したほうが調査しやすいですか？
調査には役立つ場合がありますが、秘密や個人情報を集める危険も増えます。 目的、対象、期間、閲覧者を決め、通常は要約と識別子を保存し、全文は必要な処理だけに限定します。
どの異常を一件で停止すべきですか？
誤送信、秘密の外部出力、権限外の更新、削除など回復が難しい事象を候補にします。 業務影響と復元可能性から重大度を決め、担当者不在でも安全側へ停止する設定にします。
ログはどのくらい保存しますか？
法令、契約、事故調査、業務上の必要期間から決めます。 長期間残すことを既定にせず、項目別の保存期間と削除確認を定め、必要なら専門部署へ確認してください。 保存期間を過ぎたログが自動で削除され、バックアップや複製にも同じ方針が適用されるか試験します。
追跡できる記録と安全に止める手順をそろえる
監視は、メトリクスを表示するだけでは完了しません。 共通ID、業務指標、安全イベント、通知、停止、復旧を一つの運用へつなげます。
- 監視項目は障害、品質、安全、費用の目的ごとに異なる
- 一回の実行は共通IDでモデルとツールの記録を接続する
- 誤送信や秘密の出力は一件でも停止する重大イベントである
- ログ自体のアクセスと保存を管理する
重要操作を止める位置は、AIエージェントに人の承認が必要な操作で具体化できます。
