続・Gufo、拡張とRDMAでローカルAIを育てる

Strix Halo専用エンジンとして登場したGufoは、AI推論の速さより「1台で何ができるか」を詰めてきました。Ryzen AI MAX+ 395とRadeon 8060S(gfx1151)、最大128 GiBの統合メモリを狙い撃ちした推論エンジンです[1][2]。テキスト、埋め込み、音声、画像、動画のモデルを、OpenAI互換APIで単一バイナリから出せます[1]。Linuxでビルド・テストされており、Windowsでも動作するとしています[1]。

記事全文: htbmixbox/gufo-890M: Strix Halo (gfx1151) - GitHub
画像出典: 記事全文: htbmixbox/gufo-890M: Strix Halo (gfx1151) – GitHub

Gufoの設計は「全部載せ」ではありません。用途ごとに1モデルだけを選び、この機械で最良のものを最適化前に元モデルと照合します[1]。モデルページにはダウンロードするファイル、モード、実測速度が並びます[1]。コードはMITライセンスですが、重みは各公開者の条件に従います[1]。

さらに、コーディングエージェント向けのキャッシュが用意されています。長い会話セッションを何度も送る使い方を前提にしています[1]。同時リクエスト、キャンセル、会話キャッシュを重要な作業負荷として扱います[2]。これはハッカー向けの拡張性というより、日常運用に寄せた設定です[1][2]。

拡張機能も新しい動きです。コアを変えずにモデルを増やせます[1]。例としてlfm3をレジストリから入れる手順が示されています[1]。コンテナでGPUとモデルフォルダを渡し、Qwen3.8 Flash-NextとMTP用の頭(補助モデル)を指定して起動する流れも載っています[1]。MTPは下書きトークンをまとめて使う推測実行です[3]。

記事全文: Benchmarks · Gufo
画像出典: 記事全文: Benchmarks · Gufo

flash推論のベンチ条件は以前も話題になりましたが、Gufoの測定は比較対象を明確にしています。Qwen3.8 Flash-Nextはllama.cppのAR(自己回帰)とMTPを参照し、Unslothの4ビット系の量子化版(重みを圧縮した版)とQ8_0(8ビット相当)のMTP予測器で測っています[3]。HTTP経由、greedy(毎回最も確実なトークンを選ぶ設定)、思考オフという条件です[3]。prefillはプロンプト全体を一括処理する段階、decodeはトークンを1つずつ生成する段階です[3]。単一ユーザーの自己回帰では、約pp2048/tg128(prefill 2048トークン、decode 128トークン)という条件で、depthはキャッシュ済みの先頭部分のトークン数です[3]。

資料では、具体的なトークン/秒の値は確認できませんでした。複数ユーザーでは通常の短文脈向け経路を使い、llama.cppはチェックポイント(中間地点)の末尾4トークンを再計算します[3]。MTPの下書き長は動的に決まり、1〜7に抑えられます[3]。Gufoの文書では、ピーク値には繰り返し出力を含み、複数リクエストの合計decode速度も区別しています[2]。

一方、Gufoは万能ではありません。Strix Haloという1台を想定したエンジンです[1][2]。小さいメモリ構成でも、収まるモデルなら速度の利点は保たれる想定です[2]。別の文書では、Windows移植と2台のStrix Haloを繋ぐGufo RDMA(マシン間でメモリを直接やり取りする仕組み)がまだ統合前だと触れられています[2]。コミュニティ側では、そのfork(派生版)が維持されています[4]。中国語圏では「gufo對決Halogen 實測Qwen3.8-Flash-Next (AMD AI Max+395)」→「(日本語訳: Gufo対決Halogen、Qwen3.8-Flash-Nextを実測(AMD AI Max+395))」という比較投稿も見られます。

つまりGufoは、ローカルAIマシンの性能比較というより、Strix Haloという1台の機械をどう運用するかを詰めたエンジンです。128GB統合メモリで70B/120B級や100B超を動かす話題と相性がよく、専用設計が活きます[5][6]。Ryzen AI Max+ 395のレビューや性能比較も出ており、注目されています[6]。拡張、キャッシュ、品質照合、RDMAの分岐が揃い、コミュニティが試す土台になってきました[1][2][4]。

引用ソース

  1. Web記事 記事全文: GitHub – gufo-org/gufo: The open-source AI engine for AMD Strix Halo … — https://github.com/gufo-org/gufo

    Gufo is an open-source inference engine for one machine: AMD Strix Halo, the
    Ryzen AI MAX+ 395 with its Radeon 8060S (gfx1151) and up to 128 GiB of
    unified memory. It serves text, embedding, speech, image and video model

  2. Web記事 記事全文: htbmixbox/gufo-890M: Strix Halo (gfx1151) – GitHub — https://github.com/htbmixbox/gufo-890M

    Gufo is a vertical local inference engine specifically built and optimized for the AMD Strix Halo hardware:
    Ryzen AI MAX+ 395 systems with Radeon 8060S (gfx1151), up to 128 GiB of unified memory.
    Contributions are welcom

  3. Web記事 記事全文: Benchmarks · Gufo — https://gufo.blog/benchmarks

    Benchmarks
    Qwen3.8 Flash-Next
    Reference: llama.cpp b11069 (AR) and 6fcaa16f (MTP)
    Unsloth UD-Q4_K_XL weights with the Q8_0 MTP predictor. HTTP, greedy, thinking off.
    October 18, 2026
    Prefill across context depth
    Decode

  4. Web記事 記事全文: Gufo: the Strix Halo inference engine — https://gufo.blog/

    Gufo is open source and contributions are welcome. The community also maintains Gufo RDMA, a fork for linking two Strix Halo systems.
    Explore Gufo RDMA ↗

  5. Web記事 Web検索: Ryzen AI MAX+ 395(Strix Halo)ローカルLLM 推論ベンチマーク 2026年版:70B / 120B を 96GB … — https://mypcrig.com/blog/strix-halo-local-llm-benchmark-2026/

    Ryzen AI MAX+ 395(Strix Halo)ローカルLLM 推論ベンチマーク 2026年版:70B / 120B を 96GB …

  6. Web記事 Web検索: AMD Ryzen AI Halo Review – Local-AI Powerhouse with 128 GB of Memory — https://www.techpowerup.com/review/amd-ryzen-ai-max-395-strix-halo-mini-pc/

    AMD Ryzen AI Halo Review – Local-AI Powerhouse with 128 GB of Memory

  7. Web記事 Web検索: Ryzen AI Max+ 395の性能比較&ベンチマーク検証【2026年】 | ゲーミングPC徹底解剖 — https://gamingpcs.jp/parts/cpu/cpu-benchmark/ryzen-ai-maxplus-395/

    Ryzen AI Max+ 395の性能比較&ベンチマーク検証【2026年】 | ゲーミングPC徹底解剖

  8. Web記事 Web検索: 100B以上のローカルLLMを動かすAMDマシン – EVO-X2・Strix Halo・Halogen — https://note.com/npaka/n/n5bee919c99f4

    100B以上のローカルLLMを動かすAMDマシン – EVO-X2・Strix Halo・Halogen

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

関連記事

CALENDAR

2026年11月
日 月 火 水 木 金 土
1234567
891011121314
15161718192021
22232425262728
2930  

ARCHIVES

CATEGORIES