「自己進化するAIエージェントは、どうやって測ればいいのか」。その問いが浮かび上がってきたのは、Nous Researchのオープンソースエージェント「Hermes」の人気が一段と高まったからです。GitHubのスター数は、4月時点で95.6Kに達しています[6]。「ClaudeやChatGPTに勝るか」を試す検証記事[4]をはじめ、レビュー記事も複数出ています[3][5][7][8]。前回はベンチ実行のつまずきと公式エージェントの最新形を追いました。今回は、その周辺で整いつつある「測る仕組み」に焦点を当てます。
技術解説記事[1]によると、Hermesは「自分の実行記録から自分を改善する」ことを軸に設計されたフレームワークです。エージェントは推論しながら行動し、セッションごとの記録が次の改善の材料になります。メモリは3層構造で、保持と検索のしかたが層ごとに異なります[1]。プロンプトを遺伝的アルゴリズムで進化させるGEPAは、ICLR 2026でOral採択されました。GEPAとは、試行の結果から指示文を自動的に書き換え、改良を重ねていく仕組みです。
さらに、強化学習(試行錯誤から報酬をもとに学ぶ手法)による訓練と、ベンチマーク評価を1つの基盤にまとめたAtroposを備えます[1]。ベンチの評価を、そのまま訓練の信号にできる構造です。内蔵ツールは40以上に上ります[1]。注目ポイントは、評価・訓練・安全対策という3つの課題を、1つの環境定義にまとめた点です。本来なら別チーム、別コード置き場、別レビューサイクルで管理される領域です[1]。統合ベンチマークは、TBLite、YC-Bench、Terminal-Bench 2.0の3系統です。
一方、エージェント本体ではなく「設定一式」を測る試みも始まっています。HermesBenchと名付けられた外部ベンチは、個人用エージェントの構成全体を採点します[2]。「モデルだけではなく、エージェント全体をベンチマークする」というのが掲げる方針です。対象はプロンプト、モデルやプロバイダの選択、ツール、メモリ、安全設定などです。応答の遅延や安定性も含まれます[2]。公開済みの最初のベースラインは、27個のレシピ(あらかじめ決めた設定と課題の組み合わせ)で78.2点です。結果にはマスク処理した実行ログが添えられ、誰でも確認できます[2]。
実行方法もユニークです。CodexやClaudeなどのコーディングエージェントに、専用のプロンプトをコピーして使います[2]。エージェント側がHermesBenchのスキルを読み込み、シナリオを1件だけ実行する流れです。全シナリオの一括実行は時間もコストもかかるため、任意となっています。サイトはレシピ、プロファイル、トレースの3タブで構成され、スコアの軸や判定の経緯へのリンクも公開されています[2]。現時点ではアルファ段階で、採点の意外さやレシピの現実味について、初期フィードバックを募っています[2]。リポジトリへのスターは歓迎しつつ、レシピやスコアの軸に違和感があればissueでの指摘を呼びかけています[2]。
しかし、測定をめぐる空気は慎重です。技術解説記事は、Berkeley RDIによる脆弱性研究が疑問を投げかけていると述べます[1]。そのうえで、ベンチのスコアだけでは実行時の信頼は担保できないと指摘します[1]。脆弱性研究とは、いわばハッカーの視点でエージェントの弱点を探す作業です。ただしこの解説記事自体、信頼スコアを手がけるArmaloのブログで、14日間のトライアルへの誘導で締めくくられています[1]。宣伝色は割り引いて読む必要があるでしょう。実行時の評判を別の層で集めれば、スコアでは補えない部分が埋まるとの主張です[1]。HermesBench側も「ベースラインは1つで、リーダーボードには早すぎる」と明言しています[2]。
自己進化するエージェントは、改善を重ねるたびに振る舞いが変わります。1時点のスコアだけでは、実力を捉えにくいと考えられます。だからこそ、ログまで公開するベンチマークや、運用中の評判を別の層で追う仕組みが求められているようです。スコアの数字を鵜呑みにせず、ログや判定の経緯まで目を向けることが、これからのエージェント評価では重要になりそうです。次に注目したいのは、性能の競争よりも「測り方の標準化」がどこまで進むかです。
引用ソース
- Web記事 記事全文: Hermes Agent Benchmark: Architecture and Control Model — https://trust.armalo.ai/blog/hermes-agent-benchmark-architecture-and-control-model
Hermes Agent Benchmark: Architecture and Control Model
A technical deep-dive into how the Hermes Agent benchmarking system works — three-level memory, GEPA self-evolution, Atropos RL training, 40+ built-in tools, and wha - Web記事 記事全文: HermesBench – verkyyi.github.io — https://verkyyi.github.io/hermesbench/
Hermes Agent runtime evaluation
Benchmark the whole personal agent, not just the model.
HermesBench evaluates complete Hermes configurations: prompt, model/provider, tools, AgentSkills, memory, gateway behavior, delegati - Web記事 Web検索: Hermes Agent Review 2026: Self-Learning AI Agent by Nous Research | AI … — https://aitoolfinder.org/tools/hermes-agent/
Hermes Agent Review 2026: Self-Learning AI Agent by Nous Research | AI …
- Web記事 Web検索: HERMES AI Agent: Beats Claude & ChatGPT? Full Test [2026 Guide & Review] — https://justoborn.com/hermes-ai-agent/
HERMES AI Agent: Beats Claude & ChatGPT? Full Test [2026 Guide & Review]
- Web記事 Web検索: Hermes Agent Review 2026: The Self-Learning AI Agent That Writes Its … — https://aitoolfinder.org/blog/hermes-agent-review-2026
Hermes Agent Review 2026: The Self-Learning AI Agent That Writes Its …
- Web記事 Web検索: Hermes Agent Review: 95.6K Stars, Self-Improving AI Agent (April 2026) — https://dev.to/tokenmixai/hermes-agent-review-956k-stars-self-improving-ai-agent-april-2026-11le
Hermes Agent Review: 95.6K Stars, Self-Improving AI Agent (April 2026)
- Web記事 Web検索: Hermes Agent: The Complete Guide & Deep Review (October 2026) — https://aitoolsreview.co.uk/insights/hermes-agent-explained
Hermes Agent: The Complete Guide & Deep Review (October 2026)
- Web記事 Web検索: Hermes Agent Review 2026: Honest Features and Performance — https://fast.io/resources/hermes-agent-review-2026/
Hermes Agent Review 2026: Honest Features and Performance
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS