続・Hermes追跡（15）：ベンチマークと自己進化ループ

続報です。Nous ResearchのHermesはAIエージェントとして、公開から7週間でGitHub starsを95,600集めた点がまず目立ちます [1]。以前取り上げたスキルとツールだけでなく、今回はベンチマークと自己進化ループが中心になっています。記事では、自己改善型オープンソースエージェントとして設計が完成しているとの評価も出ています [2]。要点を簡潔に示すなら、速さより検証の仕組みです。

設計は三つの層に分かれています。まず、セッションメモリが現在の会話やツール実行の途中経過を保持します。次に、永続メモリに長期の事実や好みを入れておきます。SQLiteとFTS5を使い、10,000件超の文書でも約10msで取り出せる点が示されています [1]。さらに、スキルメモリがあり、過去の成功パターンを推論時に再利用します。

注目したいのはGEPAです。実行トレースを解析し、失敗理由を踏まえてツール説明やシステムプロンプト、スキル実装を自動で改善します。この手法はICLR 2026 Oralの論文として紹介されています [1][2]。また、評価基盤はAtroposで、ベンチマークとRL訓練を同じ環境で扱える点が特徴です [1][2]。評価と訓練のラインを統一することで、改善の根拠を共有しやすくなっています。

実装面では、40以上のツールが用意されています。Web検索、ターミナル、ファイル操作、ブラウザ自動化、画像生成、音声合成、コード実行、サブエージェント委譲などです [1]。スキルは同梱、公式の追加、コミュニティ提供の三段階で提供され、Hermes Skills Hubも備えます [1]。モデルもOpenRouter経由で200以上扱えるようです [1]。ハッカー視点で言えば、攻めと検証の両方をこの枠組みで回せるのが面白いところです。

ただし、ベンチマークの点数だけで信頼は決まりません。Armaloは、正確さより本番で信頼できるかを測ると説明し、12次元の評価と16次元のスコアカードを挙げています [4]。エージェントのエンドポイントを渡すと、信頼スコアカードを確認できる設計です [4]。一方、HermesBenchでは、公開ベースラインが27の個人エージェント向けレシピで78.2点と報告されています [3]。CodexやClaudeにプロンプトを渡して1レシピだけ走らせる導線も示されています [3]。これは基盤モデルのランキングではなく、設定込みの評価です。

画像出典: 記事全文: Hermes Agent Benchmark — The Complete Hub | Armalo AI

画像出典: 記事全文: HermesBench – verkyyi.github.io

転換点は、評価と安全性が同じ話題として扱われたことです。記事では、Berkeley RDIの脆弱性研究が疑念を生むと触れられています [2]。TBLite、YC-Bench、Terminal-Bench 2.0といった統合ベンチマークも、単なる正答率ではなく、エージェントの制御と信頼を見るために組み込まれています [2][4]。HermesBenchも、プロンプト、モデル、ツール、メモリ、委譲、安全性、遅延、安定性をまとめて評価し、マスキングされたトレースを公開します [3]。ローカルで動かす場合も、推論の質とガードレールの設定が分かれ目になります。

結論としては、Hermesは「速く賢いエージェント」より「自分で改善し、検証に耐えるエージェント」に近づいています。95,600 starsは注目度の証拠ですが、実運用ではセッション設計、メモリ検索、GEPAの改善、ベンチマーク結果、信頼スコアをまとめて見る必要があります。次の追跡では、同じ条件での推論速度と失敗モードの差がどこまで出るかが焦点になりそうです。

引用ソース

Web記事 記事全文: Hermes Agent Benchmark: The Complete Guide – Armalo AI — https://trust.armalo.ai/blog/hermes-agent-benchmark-the-complete-guide

Within seven weeks of release it accumulated over 95,600 GitHub stars, making it one of the fastest-growing open-source agent frameworks in the space. The project lives at github.com/NousResearch/hermes-agent with docume
Web記事 記事全文: Hermes Agent Benchmark: Architecture and Control Model — https://trust.armalo.ai/blog/hermes-agent-benchmark-architecture-and-control-model

Hermes Agent Benchmark: Architecture and Control Model
A technical deep-dive into how the Hermes Agent benchmarking system works — three-level memory, GEPA self-evolution, Atropos RL training, 40+ built-in tools, and wha
Web記事 記事全文: HermesBench – verkyyi.github.io — https://verkyyi.github.io/hermesbench/

Hermes Agent runtime evaluation
Benchmark the whole personal agent, not just the model.
HermesBench evaluates complete Hermes configurations: prompt, model/provider, tools, AgentSkills, memory, gateway behavior, delegati
Web記事 記事全文: Hermes Agent Benchmark — The Complete Hub | Armalo AI — https://armalo.ai/hermes-benchmark

Loading…
Hermes Agent Benchmark
Accuracy benchmarks measure if an agent answers correctly. Hermes measures whether it can be trusted in production — under adversarial pressure, across the dimensions a buyer actually ca

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。