使えない性能のまま残すのはもったいない。Gufoは、AMD Strix HaloのRadeon 8060SとRyzen AI MAX+ 395を前提に作られたオープンソース推論エンジンです。Ryzen AI MAX+ 395のローカルLLM性能が話題になる中、専用設計で速度を引き出す狙いが見えます。[1][3][5]
LinuxとWindowsで動き、最大128 GiBの統合メモリを生かします。テキスト、音声、画像、動画まで扱えるStrix Halo向けローカルAIの拠点を目指し、動かすモデルはサイズごとに最良のものに絞ります。メモリ容量が小さい構成でも動く想定です。セットアップは、モデルのダウンロードとコンテナ起動を想定しています。OpenAI互換APIをポート8080で公開し、Open WebUIやCodexから使えます。[1][3]
実測では、Qwen3.8 Flash-Nextの1台構成でprefill（プロンプト全体を一括処理する段階）が1,801.01 tok/s、decode（トークンを1つずつ生成する段階）が最大116.93 tok/sと報告されています。prefillは自己回帰で、decodeは推測生成で測られています。推測生成は次のトークンを先に当てて高速化する仕組みです。この数値は、圧縮した重みに8bitの予測器を組み合わせ、HTTP、greedy、思考オフの条件で測ったものです。比較対象はllama.cppの特定ビルドで、約2,000トークンのプロンプトと128トークン生成を想定した比較です。ピーク値には繰り返し出力が含まれます。[1][2][4]
速度だけを追いかけません。品質レポートで数値の確認や実行の一貫性を見て、速いカーネルでもリクエスト全体を遅くするなら採用しない方針です。モデルごとに実装とテストを分け、変更の影響を狭く保ちます。並列リクエスト、キャンセル、会話キャッシュも重要な作業として扱います。8ユーザー時の合計は、各リクエストのdecode速度を足した値です。[1][3]
さらに、2台のStrix HaloをRDMAでつなぐGufo-TPも試されています。Gufo-TPは別プロジェクトとして、公式Gufoと2台構成のフォークを統合したものです。RDMAはメモリを直接やり取りする技術です。Thunderbolt 4/USB4を2本使って約37 Gb/sを実現し、InfiniBandやRoCE v2も対象です。1台の128 GiBに収まらない文脈や8bit量子化のフルモデルを扱えます。測った範囲では、TP2は1台構成より速いとしています。hacker向けの試みというより、実運用を想定した拡張です。[2][3]
ただし、TP2の表はv0.15.0時代の数値で、v0.27.0で再ベンチマークは行われていません。一方、1台構成はv0.27.0統合後の数値です。2台構成はv0.27.0でスモークテスト10/10とllama-swap利用者の承認を経て再検証されていますが、速度表は更新前のままです。[2]
外部の比較記事でも、Strix Halo上のGufoのprefillが約2,000 tok/sに届くと紹介されています。Gufoは、専用ハードの速度と品質を両立させるローカルAIの選択肢として、hackerにも実務家にも注目されています。コミュニティからの貢献を募り、Windows移植や2台構成のRDMAも生まれています。エンジンバージョンが進んでも、実測と品質レポートを重視する姿勢は変わりません。[1][3][6]
引用ソース
- Web記事 記事全文: Gufo: The Open Source Strix Halo AI engine – GitHub — https://github.com/gufo-org/gufo
Gufo is a vertical local inference engine for Linux and Windows, specifically built and optimized for AMD Strix Halo hardware:
Ryzen AI MAX+ 395 systems with Radeon 8060S (gfx1151), up to 128 GiB of unified memory.
Contr - Web記事 記事全文: GitHub – uv-genai/gufo: GPU-hosted LLM inference for AMD Strix Halo … — https://github.com/uv-genai/gufo
Gufo-TP is a vertical local inference engine specifically built and optimized
for the AMD Strix Halo hardware: Ryzen AI MAX+ 395 systems with Radeon 8060S
(gfx1151), up to 128 GiB of unified memory — with RDMA tensor
par - Web記事 記事全文: Gufo: the Strix Halo inference engine — https://gufo.blog/
01 / Principles
Why Gufo
We were tired of owning hardware we couldn’t fully use. So we built Gufo: an inference engine tuned end to end for Strix Halo, running only the best model in each class, with no performance left - Web記事 記事全文: Benchmarks · Gufo — https://gufo.blog/benchmarks
Benchmarks
Qwen3.8 Flash-Next
Reference: llama.cpp b11069 (AR) and 6fcaa16f (MTP)
Unsloth UD-Q4_K_XL weights with the Q8_0 MTP predictor. HTTP, greedy, thinking off.
October 10, 2026
Prefill across context depth
Decode - Web記事 Web検索: Ryzen AI MAX+ 395（Strix Halo）ローカルLLM 推論ベンチマーク 2026年版：70B / 120B を 96GB … — https://mypcrig.com/blog/strix-halo-local-llm-benchmark-2026/
Ryzen AI MAX+ 395（Strix Halo）ローカルLLM 推論ベンチマーク 2026年版：70B / 120B を 96GB …
- Web記事 Web検索: Halogen vs Gufo: Strix Halo Prefill Near 2,000 tok/s — https://blog.mushroom.cv/blog/strix-halo-halogen-gufo-prefill/
Halogen vs Gufo: Strix Halo Prefill Near 2,000 tok/s
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS