📌 エグゼクティブサマリー
GoogleがHarness2を公開し、モデルの重みを変えずに外側の設定を再帰的に改善します。1ステップで最大11.5点など、aiエージェントの最新追跡をhacker視点で読み解きます。8部品と数値から、自己改善の現在地がわかります。
aiエージェントは、モデルの重みを更新しなくても、自分の『道具箱』を書き換えられるようです。GoogleがHarness2をオープンソースで公開しました[1]。前回は自己改善型エージェントの現在地を見ました。今回は、GitHubと論文に載った具体的な部品と数値を追跡します。
Harness2の狙いは、モデルの外側にあるharnessを最適化することです。harnessとは、system prompt、tools、memory、skills、orchestrationなど、モデルをエージェントとして動かすための全体セットです[2][3]。GitHubのREADMEとREADMEの最新版、論文が同じ枠組みを示しています[2][3][7][7]。論文では、設計時に見ていないタスクが来るopen worldを想定しています[7][7]。つまり、事前に作っておいた設定が、そのまま通用しない場面が前提です。
注目したいのは、2つの再帰です。まずtask-level recursionで、現在のタスク向けにharnessを直します。editを提案し、同じタスクでprobeし、実行結果の振る舞いの差からcomposeします。正解やgraderは要りません[2][3]。次にharnessing-level recursionで、採用したharnessと根拠のあるlessonを保存し、次の改善に使うようです[1][2]。この2段構えが、単発の試行錯誤と違う点です[3]。
公開されたREADMEでは、編集できる部品が8つに絞られています。system prompt、guardrails、memory、tool guidance、subagents、skills、scripts、pluginsです[2][3]。これらは、contextの組み立て、toolの使い方、delegation、tool loop内の振る舞いを制御します。モデルの内部ではなく、外側のセッティングをいじる話です。guardrailsやpluginsまで含めると、単なるプロンプト調整より広い範囲を扱っています[2]。
数値も出ています。GLM-5とGemini 3.5 Flash（flash）を使い、3つのprofessional benchmarkと4つのmodel-harness設定で試しました[2][3]。Harness2の1ステップだけで、WorkBuddy-Benchは最大11.5点、JobBenchは4.5点、LABのpartial pass rateは11.8ポイント改善したと書かれています[2][3]。task-level recursionの予算を増やすと、さらに伸びるようです[2]。1ステップで改善した点が重要で、多くのroundsを前提にしないようです[1]。これはbase harnessとの比較で、重み更新なしの差です[1]。
Redditの投稿では、この仕組みが「no correct answers or graders are needed」と説明されています[1]。1回の編集でも元のharnessを超え、回数を増やすとスコアが上がったとあります[1]。さらに、1つのタスクで得た改善が次のタスクに持ち越され、future editsがsmarterに始まる点が強調されています[1]。Gemini 3.5 FlashとGLM-5でlegal、office、professional work benchmarksとあります[1]。
ただし、万能には見えません。改善の材料は、正解ではなく実行の振る舞いの差です[2]。評価が難しいopen worldでは、hackerな視点で見ると、失敗の型をうまく拾えない恐れもあります。Google開発者ブログのタイトルにも、evaluate、iterate、guardという語が並び、評価とガードレールが前提のようです[4]。解説記事も、この仕組みを「agentsが自ら改善する」と整理しています[5]。experiments docsには試行の記録が置かれ、再現の手がかりになります[6]。正解がない分、評価の難しさは残ります[2][4]。
実装面では、Linux、Python 3.12、uvで動きます。ローカルdemoはmodel credentials不要で、deterministic editorsとreal Python executionsで両方の再帰を回せます[2][3]。model-backed benchmarkにはNode.js 20+、Google Cloud CLIなどが必要です[2]。parallelとsequentialの再帰、OpenCodeとCodex executors、JobBench、LAB、WorkBuddy-Benchもサポートされています[2]。demoはcredential不要なので、まず仕組みを触れます[2]。experiments docsやREADMEの最新版も公開され、再現の入口は広くなっています[6]。
Harness2は、aiエージェントの『賢さ』をモデルの重みではなく、外側のバージョン管理に置き換えたようです。推論の質そのものより、道具の並び替えで成果を出す発想です。hackerな関心がある人なら、この8部品を自分で書き換えたくなったかもしれません。aiエージェントの設計が、固定セットから継続的な改善対象に変わったようです[1][2]。外側の改善は、モデルの更新が止まっても残る可能性があります。
引用ソース
- [1] Reddit Reddit r/LocalLLaMA: Google Open Sources Harness2 for Self Improving AI Agents — https://www.reddit.com/r/LocalLLaMA/comments/1x9gfnb/google_open_sources_harness2_for_self_improving/
Google Open Sources Harness2 for Self Improving AI Agents
- [2] Web記事 記事全文: google-research/harness2 – GitHub — https://github.com/google-research/harness2
A harness is the system around a model that enables it to act as an agent: prompts, tools, memory, skills, orchestration, and more. Harnessing is the process of optimizing that system.
Harness² is a plug-and-play framewo - [3] Web記事 記事全文: harness2/README.md at main · google-research/harness2 · GitHub — https://github.com/google-research/harness2/blob/main/README.md
A harness is the system around a model that enables it to act as an agent: prompts, tools, memory, skills, orchestration, and more. Harnessing is the process of optimizing that system.
Harness² is a plug-and-play framewo - [4] Web記事 Web検索: The Anatomy of Harness Engineering: How to Evaluate, Iterate, and Guard … — https://developers.googleblog.com/en/the-anatomy-of-harness-engineering-how-to-evaluate-iterate-and-guard-ai-coding-agents/
The Anatomy of Harness Engineering: How to Evaluate, Iterate, and Guard …
- [5] Web記事 Web検索: Harness² Explained: Google Research's Framework That Lets Agents … — https://cldnavi.com/en/blog/harness2-google-research-2026/
Harness² Explained: Google Research's Framework That Lets Agents …
- [6] Web記事 Web検索: harness2/docs/EXPERIMENTS.md at main · google-research/harness2 — https://github.com/google-research/harness2/blob/main/docs/EXPERIMENTS.md
harness2/docs/EXPERIMENTS.md at main · google-research/harness2
- [7] Web記事 Web検索: Harness^2: Recursive Agent Harnessing for an Open World — https://arxiv.org/pdf/2610.14224
Harness^2: Recursive Agent Harnessing for an Open World
- [8] Web記事 Web検索: Harness2: Recursive Agent Harnessing foran Open World — https://arxiv.org/html/2610.14224v1
Harness2: Recursive Agent Harnessing foran Open World
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS