同じモデルでも、動かす仕組み次第で結果は大きく変わります。Redditのr/LocalLLaMAに、そんな実例を示すベンチマーク報告が投稿され、注目を集めています[1]。報告者はRecursiveSIのFlintベンチマークで、unsloth製のGGUFモデル(ローカル実行向けのモデルファイル形式)を用意しました。ベンチマークは12のタスクで構成され、複数の基盤が同じモデルで挑んでいます。対象には、Nous Researchが公開するオープンソースのAIエージェント「Hermes Agent」も含まれていました[2]。
ここでいう基盤(ハーネス)とは、モデルにタスクを渡し、検索やファイル操作の実行を管理するテスト側の仕組みです。モデルの量子化(重みを圧縮してメモリを節約する仕組み)は、圧縮率の高いQ3_K_XLタイプでした。結果は3方式で明暗が分かっています。OMPは12タスクすべてを完了し、100点中71.2点。解けたのは7タスクです。AtomicAgentも12タスクを完了しましたが、スコアは39.2点、解決できたのは3タスクだけでした[1]。最後まで動けても、解けたタスク数は別の評価になる点がポイントです。
そしてHermesです。こちらはタスク7の途中で停止しました。ファイルシステムを必要以上に広く検索し、そのままループに陥ったためです[1]。報告者は、ここまでの失敗と低スコアを理由に、DeepSeekのテスト自体を見送ったと述べています[1]。なお、このベンチマークのリーダーボードには、現在100点満点を達成したモデルも並んでいます[1]。課題自体は解けるということです。
一方、公式サイトで公開されているHermes Agentは、機能を大きく広げています[2]。公式は「あなたとともに成長するエージェント」とうたっており、対応サービスも今後さらに増える見込みです。Telegram、Discord、Slack、WhatsApp、Signal、メール、CLIに対応します。1つのエージェントが1つの記憶を、すべての場面で共有する仕組みです。プロジェクトを学習してスキルを自動生成し、問題の解き方を忘れない永続メモリも持ちます。自然言語で予定を書くだけで、レポートやバックアップを無人で実行できる点も特徴です[2]。
作業の分担も進んでいます。独立した会話とターミナル、Python RPCスクリプトを持つサブエージェント(作業を引き受ける下位エージェント)を複数動かせます。Web検索、ブラウザ自動化、画像生成、音声合成、複数モデルを切り替える推論にも対応しました[2]。サンドボックス(隔離された実行環境)は、ローカル、Docker、SSH、Singularity、Modalの5種類から選べます。コンテナの強化や名前空間による分離も施されています[2]。料金は無料のHermesに加え、月20ドルのPlus、月100ドルのSuper、月200ドルのUltraの4段階です。有料プランには毎月のクレジットと、200以上のモデルへのアクセス、組み込みのツール利用が付きます[2]。デスクトップアプリのドキュメントも公開されています[5]。
しかし、華やかな機能一覧と実タスクの成績の間には、まだ差があるようです。Hermesハーネスが止まった原因は、売りであるはずの検索まわりでした。必要以上に広い検索を繰り返してループしたと報告されています[1]。エージェントの名を持つ製品でも、実環境でのタスク遂行は別問題だということを、この報告は突きつけています。もっとも、今回の試行は強く圧縮したQ3モデルでのものです。報告自体が低スコアを認めており、モデル側の限界とハーネス側の課題を切り分けられない点には注意が必要です。
追跡を難しくしているのが名前の問題です。「Hermes」で検索してまず見つかるのは、フランスの高級ブランド エルメスの公式オンラインストアです[3]。日本語の公式ストアも同じブランドです[4]。Wikipediaの項目もブランド側が先に見つかる状況です[4]。AIエージェントの情報を探すには、「Hermes Agent」と用途まで添えて検索するのが実用的なようです。
エージェントの実力は、モデル単体ではなく、それを動かす仕組みとの組み合わせで決まります。今回の報告は、公式の機能訴求と実タスクの成績の間にまだ差があることを示しました[1][2]。圧縮の浅いモデルでの再テストや、ループ対策の改善が次の注目点になりそうです。コミュニティによるこうした実測報告は、開発側への貴重なフィードバックにもなると思われます。
引用ソース
- Reddit Reddit r/LocalLLaMA: RecursiveSI Flint Benchmark: unsloth/flint-GGUF flint-UD-Q3_K_XL.gguf — https://www.reddit.com/r/LocalLLaMA/comments/1xehn3u/recursivesi_flint_benchmark_unslothflintgguf/
RecursiveSI Flint Benchmark: unsloth/flint-GGUF flint-UD-Q3_K_XL.gguf
- Web記事 記事全文: Hermes Agent — Open-Source AI Agent That Grows With You | Nous Research — https://hermes-agent.nousresearch.com/
Features
#1 Connect
Lives Everywhere
Telegram, Discord, Slack, WhatsApp, Signal, Email, CLI — and a growing list of platforms. One agent, one memory, every surface.
#2 Remember
Persistent Memory
It learns your projects, - Web記事 記事全文: The official Hermes online store | Hermès USA — https://www.hermes.com/us/en/
Wherever comfort ventures, this all-terrain-style blanket follows. Timeless on the inside, free-spirited on the outside. When this blanket changes style, it transforms its nature too.
- Web記事 Web検索: エルメスの公式オンラインストア | Hermès – エルメス-公式サイト — https://www.hermes.com/jp/ja/
エルメスの公式オンラインストア | Hermès – エルメス-公式サイト
- Web記事 Web検索: Hermes Desktop | Hermes Agent — https://hermes-agent.nousresearch.com/docs/user-guide/desktop
Hermes Desktop | Hermes Agent
- Web記事 Web検索: Hermès – Wikipedia — https://en.wikipedia.org/wiki/Herm%C3%A8s
Hermès – Wikipedia
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS