AIハーネス・実行制御｜AIエージェントの権限・承認・ログ・停止を設計

AIエージェントを企業業務へ組み込むと、AIは回答を生成するだけでなく、社内データを参照し、APIやMCPを通じてシステムを操作し、複数の処理を連続して実行するようになります。

このとき重要になるのが、AIの判断だけに任せず、「どのデータを使えるか」「どの操作を許可するか」「どこで承認を求めるか」「異常時にどう止めるか」を実行時に制御する仕組みです。

GBSでは、AIモデルやAIエージェントの外側で、権限、ツール利用、承認、実行回数、利用量、ログ、停止などを制御する仕組みを「AIハーネス」として整理し、PoCから本番運用へ移行するための実行制御を設計します。

このようなお悩みはありませんか

AIハーネスは、AIエージェントの「実行境界」をつくる

AIエージェントへ「この操作をしてはいけない」とプロンプトで指示することはできます。しかし、本番業務では、重要な制御をAI自身の判断だけに依存させないことが重要です。

例えば、「削除は禁止」とAIへ指示するだけでなく、削除機能そのものをAIから利用できないようにする。「10万円以上の処理は承認が必要」と伝えるだけでなく、その条件に該当した処理を実行前に停止し、人の承認へ回す、といった仕組みをAIの外側に設けます。

AIハーネスは、AIを賢くするための仕組みというより、AIの実行を企業システムの中で扱える状態へ整えるための制御層です。

プロンプトによる指示と、システムによる強制制御を分ける

AIエージェントでは、プロンプトや業務ルールによって「何をするか」を指示します。一方で、本番運用では、守る必要がある条件をシステム側でも制御することが重要です。

特に、情報更新、外部送信、削除、承認、重要な業務処理などは、AIへの指示だけでなく、実行前にシステム側で条件を確認できる構成を検討します。

AIが使えるツールを、業務ごとに限定する

MCPやAPIによって多数の機能をAIから利用できるようにしても、すべてのAIエージェントへすべてのツールを公開する必要はありません。

例えば、製品情報を検索するAIエージェントには参照系ツールだけを公開し、変更申請を作成するAIエージェントには申請作成までを許可する、といった形で利用可能な機能を分けます。

AIへ強い権限を一括して与えるのではなく、対象業務で必要な操作だけを公開することを基本とします。

利用者の権限を、AI経由でも引き継ぐ

AIエージェントを利用するときに注意したいのが、「人が直接システムを利用した場合には見られない情報を、AI経由なら見られてしまう」という状態です。

AIエージェント自体が強い共通権限を持つ構成では、利用者本来のアクセス権を超えて情報を取得してしまう可能性があります。

可能な場合は、既存システムが持つ認証・権限の仕組みを活かしながら、AI経由でも利用者の権限境界を維持できる方法を検討します。

重要な処理は、実行直前で人の承認を求める

AIが処理案を作成することと、その処理を本番システムへ反映することは分けて考えられます。

影響の大きい操作では、AIが必要な情報を揃えて処理内容を準備し、実際の実行だけを人の承認後に行う構成が有効な場合があります。

承認ポイントは一律に増やすのではなく、業務への影響度に応じて設定します。低リスクな処理は自動実行し、高リスクな処理だけ人へ戻すことで、自動化の効果を損なわない設計を目指します。

AIのツール実行前に、入力内容を検証する

AIが適切なツールを選択していても、渡す値が適切とは限りません。

そのため、重要なツールについては、AIが生成したパラメータをそのまま既存システムへ渡すのではなく、実行前に形式や値を検証する仕組みを設けることを検討します。

AIの出力を信用する・しないという二択ではなく、通常の業務システムと同様に、外部から受け取る入力として検証する考え方が重要です。

繰り返し実行や異常動作を、実行側から止める

AIエージェント自身にも終了条件を設けますが、本番環境では、それとは別に外側から強制的に停止できる仕組みも重要です。

AIが想定どおり停止しない場合や、外部サービス側の障害によって同じ処理を繰り返す場合でも、実行基盤側で上限を超えた処理を遮断できるようにします。

設定した条件を超えた場合には、処理を停止する、一定時間待機する、人へ通知する、別の処理へ切り替えるなどの動作を決めます。

外部サービス障害を、AIの暴走につなげない

AIエージェントは、AIモデルだけでなく、API、MCPサーバー、データベース、外部SaaSなど複数のサービスへ接続する場合があります。

接続先が一時的に応答しない場合、AIが同じ処理を繰り返すだけでは、障害を悪化させたり、不要な利用コストを増やしたりする可能性があります。

AIエージェント側の判断だけでなく、接続・実行層でも障害を検知し、不要な処理を増やさない構成を検討します。

トークン・API・外部サービスの利用量を実行時に管理する

AIエージェントは、一つの業務を完了するまでに複数回AIモデルや外部ツールを呼び出すことがあります。

少数のPoCでは問題にならなかった利用量でも、多数の利用者や定期処理へ展開すると、トークン、API、検索、画像処理などの利用量が大きくなる場合があります。

把握するだけでなく、必要に応じて上限値を設定し、異常な利用量を検知した場合に停止・通知できるようにします。

AIの実行を、後から追跡できるログに残す

本番業務では、「AIが最終的に何を回答したか」だけでは、問題が発生したときに原因を確認できない場合があります。

どのAIエージェントが、誰の依頼で、どのツールを呼び出し、どの処理を実行したのかを追跡できることが重要です。

機密情報をすべてログへ残せばよいわけではありません。調査に必要な情報と、記録すべきでない情報を整理しながらログ設計を行います。

「何が起きているか」を運用側から確認できるようにする

ログを保存するだけでなく、AIエージェントの稼働状態を運用担当者が把握できることも重要です。

AIの出力品質を見るだけでなく、AIエージェントを一つの業務システムとして監視できる状態を目指します。

一括停止できる仕組みを用意する

個々のAIエージェントが持つ停止条件とは別に、運用者側からAIの実行を停止できる仕組みも検討します。

システム障害、予期しない大量処理、接続先の仕様変更など、本番運用では設計時に想定していなかった事象が発生する可能性があります。

すべてを一括して止めるだけでなく、問題が発生している範囲だけを切り離せる設計にすることで、影響範囲を限定しやすくなります。

MCP・APIで「つなぐ」、AIハーネスで「実行を制御する」

AIエージェントと既存システムを接続する方法と、接続後の実行を制御する方法は分けて考えます。

PLMなど重要な業務システムほど、操作単位で制御する

PLM、ERPなど企業の重要な業務データを扱うシステムでは、「AIからアクセスできるか」だけでなく、実行する操作の影響度を考える必要があります。

どこまで自動化できるかは対象業務やシステムによって異なります。GBSでは、操作の影響度に応じて実行範囲を分けることを重視します。

PoCから本番へ移るときに、実行制御を追加する

PoCでは、対象ユーザーやデータを限定し、手動で監視しながらAIエージェントを動かせる場合があります。

しかし本番では、利用者数、処理件数、接続システム、実行時間が増えるため、人が常に監視する運用では継続しにくくなります。

GBSでは、PoCで確認したAIエージェントをそのまま本番へ公開するのではなく、本番環境で必要になる実行制御を整理してから段階的に適用します。

GBSのAIハーネス・実行制御支援の進め方

1．AIエージェントの実行内容を確認する

利用しているAIエージェント、接続先システム、ツール、実行する操作を整理します。

2．操作ごとの影響度を整理する

参照、作成、更新、削除、外部送信などを分け、誤実行した場合の影響を確認します。

3．実行許可の条件を決める

利用者、AIエージェント、対象データ、ツール、操作単位で、許可する条件を整理します。

4．実行前チェックと承認を設計する

入力値の検証や、人による承認が必要な処理を整理し、実行前に確認する仕組みを設計します。

5．実行量と異常時の制御を決める

実行回数、処理時間、エラー回数、トークン、API利用量などの上限と、停止・再試行・エスカレーション方法を決めます。

6．ログと監視を設計する

何を記録し、どの状態を運用担当者が確認する必要があるかを整理します。

7．本番に近い条件で検証する

正常系だけでなく、権限不足、不正な入力、接続障害、連続エラー、利用量超過などのケースも確認します。

8．段階的に自動実行範囲を広げる

最初からすべての操作を自動化するのではなく、運用結果を確認しながら自動実行できる範囲を広げます。

GBSがAIハーネス設計で重視すること

AIエージェントの設計と、AIハーネスの役割を分ける

AIエージェント側では、「何の業務を担当するか」「何を判断するか」「どのツールを利用するか」といった仕事の進め方を設計します。

AIハーネス側では、そのAIエージェントが本番環境で実行しようとする操作を確認し、許可、拒否、承認待ち、停止、記録などを行います。

よくある質問

AIを自律的に動かすなら、「外から止められる」仕組みもつくる

AIエージェントの自律性を高めるほど、AI自身が適切に判断することだけでなく、企業側が実行範囲を制御できることが重要になります。

GBSでは、既存システムや既存の認証・権限を活かしながら、AIエージェントのツール利用、更新処理、承認、利用量、ログ、異常停止などを実行時に制御し、本番業務へ組み込みやすい仕組みを設計します。