続・エージェント追跡：AIの成功報告を検証するCATTが登場

📌 エグゼクティブサマリー
エージェントの振る舞いをテストするツールCATT 0.2.1が公開されました。市販アシスタントの身代わりを動かし、ツール呼び出しや状態変化を記録して、エージェントの報告との差分をCIで確認できます。再現が難しいエージェント検証の自動化を示す動きです。

AIエージェントに作業を任せて「成功しました」と返ってきたとき、その報告をそのまま信じられますか。Hacker Newsに投稿されたテストツール「CATT 0.2.1」は、まさにこの「信じる前の確認」を自動化するためのものです[1]。CATT(Consumer Agent Testing Tool)は、自分のサービスがAIアシスタントにどう使われるかを試すオープンソースツールです[2]。開発チームは、MuseやInstinctといった外部アシスタントが利用するためのMCP(エージェントと外部サービスをつなぐ共通規格)やAPIを作る中で、テストの難しさに繰り返し悩んだといいます[2]。その悩みを減らすために、ツールごと公開しました[2]。

難しさの正体は、エージェントのメモリとアカウントの状態持ち越しです[2]。過去のやり取りやアカウントの状態が結果に影響するため、同じ条件で何度も同じ結果を得る「再現性」が確保しにくいといいます[2]。投稿では「アシスタントが筋の通らない動きをしたり、古い情報を使ったり、証拠なしに成功を宣言したりしたことはないか」と、開発者に問いかけています[2]。

CATTの方式はシンプルです。まず、MuseやInstinctの身代わりとなるエージェントを用意します[2]。テスト側が初期条件と承認、成功条件を定義すると、CATTはツール呼び出しと応答を含む全やり取りを記録します[2]。そして、サービス側で実際に起きたことと、エージェントが報告したことの差分を取れます[2]。ここが目玉です。実行はローカルでもCI(コードの変更時に自動で試験を回す仕組み)でもよく、LLMに裏付けさせないスクリプト実行も選べます[2]。

機能面も具体的です。ツール呼び出しとコマンドラインツールへのアクセス、サービス操作に対する承認のシミュレート、結果の追跡と比較を備えます[2]。非公式のMuseテンプレートに基づくMCPプロファイルも、任意で使えます[2]。対応範囲はMCPサーバーやMCPアプリ、ウェブサイト、HTTP APIです[3]。カバーするのは、ルーティング、メモリ、支払い、ブラウザ操作、スケジュールです[3]。スクリプト実行ならモデルのアカウントが不要で、クイックスタートは設定なしでローカル環境だけで動くといいます[3]。ビルド間で結果を比較し、実行の証拠を検査できる点も、統合の不具合をリリース前に見つける工夫です[3]。関連話題は、検索結果や海外の紹介サイトにも複数現れています[3][6]。

反応はまだ小さく、議論は7ポイント・1コメントにとどまります[1]。ただしコメントした人は、DaaS(サービス提供型の事業)を開発しているといい、「実装を評価したい。今はAIエージェントと相談しながら進めている」と書いています。ツールの導入判断をエージェントに相談する姿勢で、開発現場の変化がうかがえます。

ただし、CATTが模倣できるのは「分かっている範囲」に限ります。アシスタント固有の挙動への理解はまだ浅いため、ツール内の前提には、公式文書に基づくdocumented、非公式のunofficial、推定のassumed、不明のunknownという4段階のラベルを付け、開発者の確認を促しています[2]。最近は「InstinctがWeb検索に検索サービスExaを使っている」という報告もあり、内部の動きは研究中の領域です[2]。開発チームは、新たな知見が得られ次第ツールを更新していくと述べています[2]。

一方、前回この連載で取り上げた「エージェントを囲う」側の話題も動いています。Hacker Newsでは、テックリードの役割をエージェントに任せるプロジェクト「MIKE」が投稿されました[3]。このプロジェクトでは、gVisor(Googleが公開する分離技術)を使ってエージェントをサンドボックス化します[3]。サンドボックスは、外部から切り離した安全な実行環境のことです。こちらは3ポイント・11コメントと小規模ながら、コメントで議論が重ねられています[3]。Web記事でも、Firecracker、gVisor、Dockerという分離技術の選び方を比べる解説が複数出ています[3][6]。CATTが「何をしたか」を検証するのに対し、こちらは「どこで動かすか」を固める話です。

エージェントがサービスを操作する側に回ると、「動いた」という言葉を確かめる仕組みが欠かせません。CATTはその確認をCIに組み込み、導入も「自分のコーディングアシスタントにリポジトリを読ませて組み込ませる」のが最速だと開発者は書いています[2]。検証もまたエージェントに任せる、そんな循環の入口ができた形です。