人の承認が必要なのは、取り消しにくい操作、人や金銭へ影響する判断、法令や契約に関わる処理、権限を広げる操作です。 すべてを承認対象にせず、閲覧と下書きは自動、送信と更新は一人、支払いと削除は二人などリスクで分けます。 承認画面には目的、対象、差分、根拠、影響、取り消し方法を表示し、判断と実行をログでつなぎます。
AIエージェント開発を体系的に学びたい方は、AIエージェントが学べるおすすめスクールで、AI活用、Python実装、マンツーマン支援の違いを比較できます。
| 操作 | 承認の例 | 理由 |
|---|---|---|
| 閲覧、要約 | 不要 | 影響を限定しやすい |
| 下書き保存 | 不要または事後確認 | 外部へ出ない |
| 外部送信 | 一人の事前承認 | 相手へ影響する |
| 支払い、契約 | 二人の事前承認 | 金銭と法的影響 |
| 削除、権限変更 | 管理者承認 | 復元と安全に影響 |
承認が必要な操作を影響度で決める
AIが迷っているかではなく、操作を誤ったときの影響と回復可能性で分類します。 対象人数、金額、機密度、外部性、取り消しやすさを点検します。
承認区分を決める確認項目。
- 外部の人や組織へ通知または公開するか
- 金銭、契約、採否、権限へ影響するか
- 実行後に元の状態へ戻せるか
Microsoftの責任あるAIガイドは、取り消しにくい操作や、人、金銭、法令に関わる操作へ人の確認を置くよう示しています。 欧州委員会のAI Act解説も、高リスクAIに人の監督、記録、監視を求めています。
自動、一人承認、二人承認を分ける
全操作を同じ承認へ回すと、確認疲れから内容を見ずに許可しやすくなります。 処理の種類と当日の条件を決定的なルールで分類します。
AWS Agentic AI Lensは、自動、一人、複数人の承認をリスク別に使い、全件承認による形骸化を避ける方法を示しています。
承認の流れ。
- エージェントが操作案と根拠を作る
- システムが種類、金額、対象で承認区分を決める
- 承認者へ差分と影響を表示する
- 承認、修正、却下、保留を記録する
- 承認した内容と一致するときだけ実行する
- 結果と取り消し可否を承認者へ返す
承認者が判断できる情報を表示する
「実行してよいですか」だけでは、内容を確認できません。 宛先、変更前後、金額、参照資料、AIの不確実性、期限、取り消し方法を一画面で示します。
Amazon BedrockのReturn controlでは、関数と引数をアプリケーションへ返し、人の確認や追加検証を挟めます。 Microsoft Copilot Studioの人による確認も、処理を一時停止して指定した確認者の入力を受ける仕組みです。
承認画面自体を攻撃から守る
エージェントが作った説明だけを表示すると、悪意ある外部文書が承認者をだます可能性があります。 ツール名、実際の引数、権限、変更差分はシステム側で生成して表示します。
OWASPのLies in the Loopは、人による確認画面の説明自体が攻撃者に操作される危険を扱っています。 プロンプトインジェクション対策と組み合わせてください。
期限切れ、拒否、不在時は安全側へ止める
承認が来ないときに自動承認すると、監督の意味がなくなります。 期限切れは拒否を既定にし、代行者、再申請、手作業への切り替えを決めます。
Amazon Bedrockのコンピューター操作に関する注意事項も、金融取引、規約への同意、実世界へ重大な影響を与える処理に人を介在させるよう示しています。 承認者、時刻、表示内容、判断、実行結果を監視ログへ残します。
AIエージェントと人の協働でよくある質問
すべての操作を承認すれば安全ですか？
安全性は上がる面がありますが、件数が多いと形だけの承認になりやすくなります。 低リスクは上限付きで自動化し、重大な操作へ人の注意を集中させます。 差し戻し率と確認時間を記録し、承認対象が多すぎて判断が形骸化していないか見直します。
承認者にはAIの説明だけを見せればよいですか？
不十分です。 AIが作った説明とは別に、実際のツール名、引数、宛先、変更差分、権限、取り消し方法をシステムから表示します。 説明と実引数が一致しない場合は承認できないようにし、攻撃者が説明だけを書き換える経路を閉じます。
承認後に内容が変わったらどうしますか？
承認時の引数と実行時の引数を照合し、一文字でも重要な差分があれば再承認に戻します。 承認済みの内容を固定し、有効期限と一回限りの実行条件を付けます。 実行後は承認IDと結果を結び付け、同じ承認が二度使われていないか監査します。
人は高リスク操作の判断に集中する
人との協働は、AIの全処理を見張ることではありません。 影響度で承認を分け、判断材料を表示し、承認内容と実行内容を一致させます。
- 取り消しにくさと影響度で分類する
- 自動、一人、二人の承認を分ける
- 実際の引数と差分を表示する
- 期限切れと不在時は安全側へ止める
承認条件も運用後に見直します。 次はAIエージェントの運用保守で変更管理を確認してください。
