Strix HaloのローカルAIでは、Gufoの話題が一台構成から二台構成へ移りました。以前取り上げた一台構成のFlash-Nextは、prefill(プロンプト全体を一括処理する段階)が1,801.01トークン/秒、decode(トークンを1つずつ生成する段階)が最大116.93トークン/秒と報告されていました[2]。今回は、その先にあるGufo-TPが中心です。
Gufo-TPは、AMD Strix HaloのRyzen AI MAX+ 395とRadeon 8060S(GPU)を二台接続して推論する派生版です。Thunderbolt 4やUSB4のケーブル2本で約37 Gb/sを計測したとされ、InfiniBandやRoCE v2といったRDMA(ネットワーク越しに直接メモリを読み書きする仕組み)も想定されています[2]。単なるセットアップの工夫ではなく、二台のマシンのメモリをまたいでモデルを載せる設計です。
狙いは、128 GiBの統合メモリに収まりきらない構成への対応です。Qwen3.8 Flash-Nextは、量子化(重みを圧縮してメモリを節約する仕組み)の段階で、軽いQ4と重いQ8の両方が対象になっています[2]。開発側は、TP2(二台で重みを分担する仕組み)が測定したすべての同時接続数で一台より速く、長い文脈とフルQ8を保持できると説明しています[2]。
バージョン面では、v0.28.1が2026年11月6日に公開され、推論の制御やキャッシュ、Q8のprefill、Q4ファイルの読み込みを修正したとされています[2]。さらに開発側は、本体の更新(upstream)であるv0.31.0を取り込み、単一ホストでのprefillの途中保存や、ツール向け設定の既定値なども反映しています[2]。
Gufo-TPは、本体のgufo-org/gufoと、TP2対応のneuhaus/gufoを統合した別プロジェクトです。本体の更新をv0.31.0まで追いつつ、一台構成の機能と修正は残しています[2]。公式ブログでは、Windowsへの移植と、二台のStrix Haloを結ぶGufo RDMAというコミュニティフォークにも触れられています[4]。開発方針は、サイズごとに最良のモデルだけを選んで最適化とテストに集中すること、同時リクエストや会話のキャッシュを前提とした使い方として扱うことです[1][3]。
ただし、二台構成には制約もあります。TP制御プロトコル(二台が通信する手順)の23は、古い設定の相手側を拒否するため、両ホストを同時に更新する必要があります[2]。また、Q4とQ8のTP2は検証を通過したものの、数値とタイミングの残る課題がリリースノートに書かれています[2]。
周辺を見ると、Strix HaloではDeepSeek V4 Flashの284Bモデルが最大32トークン/秒で動くという報告もあり、大型モデルのローカル推論が注目されています[5][6]。Gufoは、こうしたhacker向けの試行を、専用エンジンと二台連携で整理した形と思われます。公式は、テキスト・音声・画像・動画までそろうone-stop shop(何でもそろう場所)を目指しています[1][4]。次は、品質レポート(数値の検査記録)と実運用での同時接続で、どこまで安定するかを見たいところです。
引用ソース
- Web記事 記事全文: Gufo: The Open Source Strix Halo AI engine – GitHub — https://github.com/gufo-org/gufo
Gufo is a vertical local inference engine for Linux and Windows, specifically built and optimized for AMD Strix Halo hardware:
Ryzen AI MAX+ 395 systems with Radeon 8060S (gfx1151), up to 128 GiB of unified memory.
Contr - Web記事 記事全文: GitHub – uv-genai/gufo: GPU-hosted LLM inference for AMD Strix Halo … — https://github.com/uv-genai/gufo
Gufo-TP is a vertical local inference engine specifically built and optimized
for the AMD Strix Halo hardware: Ryzen AI MAX+ 395 systems with Radeon 8060S
(gfx1151), up to 128 GiB of unified memory — with RDMA tensor
par - Web記事 記事全文: github- gufo :Features,Alternatives | Toolerific — https://toolerific.ai/ai-tools/opensource/gufo-org-gufo
gufo
The Open Source Strix Halo AI engine. Qwen 3.8 Flash Next Q4_K_XL: 1,801.01 pp, 73.17 tg single user, 194.37 tok/s 8 users; Qwen 3.8 27B Q4_K_XL: 656.33pp, 70.56tg tok/s single user with DFlash2
Stars: 1020
README: - Web記事 記事全文: Gufo: the Strix Halo inference engine — https://gufo.blog/
01 / Principles
Why Gufo
We were tired of owning hardware we couldn’t fully use. So we built Gufo: an inference engine tuned end to end for Strix Halo, running only the best model in each class, with no performance left - Web記事 Web検索: DeepSeek V4 Flash: 284B model, up to 32 tok/s on AMD Ryzen AI MAX+ 395 — https://www.lucebox.com/blog/deepseek-v4-strix-halo
DeepSeek V4 Flash: 284B model, up to 32 tok/s on AMD Ryzen AI MAX+ 395
- Web記事 Web検索: Running DeepSeek V4 Flash on AMD Strix Halo – tinycomputers.io — https://tinycomputers.io/posts/running-deepseek-v4-flash-on-amd-strix-halo.html
Running DeepSeek V4 Flash on AMD Strix Halo – tinycomputers.io
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS