Strix HaloのローカルAIで、また一段進んだ動きです。GufoはLinuxとWindowsで動作し、Radeon 8060SとRyzen AI MAX+ 395、最大128GiBの統合メモリ向けに作られたオープンソース推論エンジンです [1]。今回は単体の速度ではなく、二台のStrix Haloを結ぶGufo-TPが中心です [2]。
Gufo-TPは、gufo-org/gufoとTP2対応フォークのneuhaus/gufoをまとめた別プロジェクトです [2]。上流のv0.27.0まで追いつきつつ、一台分の機能と修正も残しています [2]。追加されているのは、二台をInfiniBand、RoCE v2、USB4/ThunderboltでつなぐRDMA経路です。RDMAはCPUを介さずにメモリを直接やり取りする仕組みです [2]。
狙いはメモリと速度の両方です。一台の128GiBでは、Qwen3.8 Flash-NextのフルQ8や長い文脈が収まりません [2]。Q8は重みを圧縮する量子化の一種です。二台にまたがれば、その壁を越えられるとされています [2]。Thunderbolt 4またはUSB4のケーブル2本で書き込みを分散して、実測で約37Gb/sという報告もあります [2]。
速度の話も具体的です。上流をv0.27.0まで統合した後、一台のFlash-Nextではprefillが1,801.01 tok/s、decodeが最大116.93 tok/sと報告されています [2]。prefillはプロンプト全体を一括処理する段階、decodeはトークンを1つずつ生成する段階です [2]。TP2は、測定したすべての同時接続数で一台より速いとされています [2]。検索結果には「1,125 t/s Prefill at 250k」という見出しもあり、250kトークンの文脈でのprefillも注目されています [5]。ピークには繰り返し出力を含む数値が用いられています [1]。
ただし、TP2の表は、v0.15.0系のバイナリで2026-10-14に測ったQ4設定（量子化の型）、約2,000トークンのプロンプトと128トークン生成の系列です [2]。v0.27.0向けには2026-10-31にスモークテスト（簡易テスト）10/10と、llama-swapという運用ツールでの承認により再確認されていますが、表の数値は再ベンチマークされていません [2]。なお、消費電力の数値は発表資料では確認できません。ここは読み解く際に注意が必要です。
Gufo自体の設計思想も明確です。モデルはサイズごとに最良のものだけを選び、品質レポートで数値の確認、実行の一貫性、未解決の差を記録します [4]。速いカーネルでも、リクエスト全体を遅くする場合は採用しないという方針です [4]。モデルごとにカーネル（計算の部品）を分けて、変更の影響範囲を狭めています [4]。同時リクエスト、キャンセル、会話キャッシュ（セッションのやり取りを再利用する仕組み）を第一級の作業負荷として扱います [1]。テキスト、音声、画像、動画までそろう「one-stop shop」、つまりまとめて使える環境も目指しています [1]。128GiB未満でも、収まるモデルなら速度の利点を維持する方針です [1]。実用面では、サーバーはOpenAI APIで動作し、ポート8080で待ち受けます [4]。
コミュニティの広がりも見えます。GitHubのStar数は1020で、Qwen3.8 Flash NextのQ4版ではprefill 1,801.01、単一ユーザーdecode 73.17、8ユーザー合計194.37という数値が並んでいます [3]。一方、二台構成はまだ「マージされていない変種」として案内されており、完成度は開発途上です [3]。Windows向けフォークと二台構成のGufo RDMAも紹介されています [4]。HalogenとGufoのprefill比較という見出しもあり、Strix Halo向けエンジン間の競争も見られます [6]。
以前取り上げた単体速度比較から進むと、Gufoの次の課題は「一台で速く」から「二台で破綻なく」に移っているようです。ThunderboltやRDMAという現実的な接続で、128GiBの壁をどう越えるか。その検証が今後の注目点です。
引用ソース
- Web記事 記事全文: Gufo: The Open Source Strix Halo AI engine – GitHub — https://github.com/gufo-org/gufo
Gufo is a vertical local inference engine for Linux and Windows, specifically built and optimized for AMD Strix Halo hardware:
Ryzen AI MAX+ 395 systems with Radeon 8060S (gfx1151), up to 128 GiB of unified memory.
Contr - Web記事 記事全文: GitHub – uv-genai/gufo: GPU-hosted LLM inference for AMD Strix Halo … — https://github.com/uv-genai/gufo
Gufo-TP is a vertical local inference engine specifically built and optimized
for the AMD Strix Halo hardware: Ryzen AI MAX+ 395 systems with Radeon 8060S
(gfx1151), up to 128 GiB of unified memory — with RDMA tensor
par - Web記事 記事全文: github- gufo :Features,Alternatives | Toolerific — https://toolerific.ai/ai-tools/opensource/gufo-org-gufo
gufo
The Open Source Strix Halo AI engine. Qwen 3.8 Flash Next Q4_K_XL: 1,801.01 pp, 73.17 tg single user, 194.37 tok/s 8 users; Qwen 3.8 27B Q4_K_XL: 656.33pp, 70.56tg tok/s single user with DFlash2
Stars: 1020
README: - Web記事 記事全文: Gufo: the Strix Halo inference engine — https://gufo.blog/
01 / Principles
Why Gufo
We were tired of owning hardware we couldn’t fully use. So we built Gufo: an inference engine tuned end to end for Strix Halo, running only the best model in each class, with no performance left - Web記事 Web検索: Gufo on Strix Halo: 1,125 t/s Prefill at 250k, Open Source — https://aifinitee.com/gufo-open-source-engine-strix-halo/
Gufo on Strix Halo: 1,125 t/s Prefill at 250k, Open Source
- Web記事 Web検索: Halogen vs Gufo: Strix Halo Prefill Near 2,000 tok/s — https://blog.mushroom.cv/blog/strix-halo-halogen-gufo-prefill/
Halogen vs Gufo: Strix Halo Prefill Near 2,000 tok/s
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS