1台で終わらないという話です。AMD Strix Halo向けの推論エンジンGufoに、2台のStrix Haloを結ぶGufo RDMAというフォークが加わりました[4]。ベンチ集計のllamaperfには、2台構成で39.0 TPS（トークン/秒）、prefill 1,161 TPSという報告もあります[2]。
Gufoは、AMD Strix Halo向けのオープンソース推論エンジンです。Ryzen AI MAX+ 395とRadeon 8060S、最大128 GiBの統合メモリが前提です[1]。テキスト、埋め込み、音声、画像、動画のモデルをOpenAI互換APIで提供し、単一のバイナリで動くことを売りにしています[1]。Linuxでビルド・検証されており、Windowsでもネイティブに動作します[1]。
設計思想もはっきりしています。Gufoは用途ごとに1モデルだけ選び、最適化前に元モデルと照合します[1]。コーディングエージェントが長いセッションを作り直すことを想定したキャッシュも備えます[1]。拡張機構でモデルを増やせますが、コードはMIT、重みは各公開者の条件が適用されます[1]。
数値を見ると、Qwen3.8 125B・6B activeをUD-Q4_K_XLという4ビット系の量子化で動かすと、decode 34.1 TPS、prefill 1,888 TPSという報告があります[2]。125B・6B activeは、MoEモデルで毎回使う部分が6Bという意味です。量子化は、重みを圧縮してメモリを節約する仕組みです。MTPという推測実行を付けると、41.0 TPSに伸びます[2]。prefillはプロンプト全体を一括処理する段階、decodeはトークンの生成を1つずつ行う段階です。
GitHubの例では、UnslothのQwen3.8 Flash-Nextの重みを読み、MTP用の補助重みを指定して起動します[1]。起動後はローカルAPIのベースURLをOpenAIクライアントに設定できるので、WebUIやエージェントから試せます[1]。関連して、Asus ProArt PX13での実行報告や、Strix Haloの実ワークロードのベンチも出ています[5]。
llamaperfには、Gemma 4の精度を変えた3つの報告があり、prefillが2,901 TPSから3,180 TPSまで出ます[2]。ただし、GPUが特定されていない5件の報告で、条件はまちまちです[2]。Qwen3.8 27Bは30.0 TPS、GPUが不明な125Bは推測実行で72.6 TPS、prefill 1,405 TPSという数字も並びます[2]。
ただし、速さの結論は出ていません。llamaperfは、同じGPU・モデルサイズ・量子化で他エンジンと比較できる組み合わせが2組しかなく、コンテキスト長も違うため、Gufoが速いと断定できないとしています[2]。公式のベンチページも、llama.cppの通常生成とMTPを参照し、コンテキストの長さを変えたprefill/decodeを測る設計です[3]。単一の勝者を示すものではないようです[3]。
それでも注目点は、128GBの統合メモリという前提を1台から2台へ広げようとしていることです[1][4]。一般的な8〜16GBのGPUを搭載したPCでは、同じTPSは出ないと思われます。今後のGufoでは、RDMAの安定性、拡張の品質報告、そして他エンジンとの公平な比較によって、Strix Haloの価値が決まりそうです。
引用ソース
- Web記事 記事全文: GitHub – gufo-org/gufo: The open-source AI engine for AMD Strix Halo … — https://github.com/gufo-org/gufo
Gufo is an open-source inference engine for one machine: AMD Strix Halo, the
Ryzen AI MAX+ 395 with its Radeon 8060S (gfx1151) and up to 128 GiB of
unified memory. It serves text, embedding, speech, image and video model - Web記事 記事全文: Gufo performance: local LLM benchmarks | llamaperf — https://llamaperf.com/engine/gufo
Gufo results by GPU
Hardware with reported Gufo results, with each report’s model, quant and speed, newest first. Runs on several cards, with speculative decoding, with batched requests or with part of the model in syste - Web記事 記事全文: Benchmarks · Gufo — https://gufo.blog/benchmarks
Benchmarks
Qwen3.8 Flash-Next
Reference: llama.cpp b11069 (AR) and 6fcaa16f (MTP)
Unsloth UD-Q4_K_XL weights with the Q8_0 MTP predictor. HTTP, greedy, thinking off.
October 18, 2026
Prefill across context depth
Decode - Web記事 記事全文: Gufo: the Strix Halo inference engine — https://gufo.blog/
Gufo is open source and contributions are welcome. The community also maintains Gufo RDMA, a fork for linking two Strix Halo systems.
Explore Gufo RDMA ↗ - Web記事 Web検索: LocalLLM: Running Qwen3.8-Flash-Next on Strix Halo (Asus ProArt PX13) — https://andreas-mausch.de/blog/2026-09-25-localllm-strix-halo/
LocalLLM: Running Qwen3.8-Flash-Next on Strix Halo (Asus ProArt PX13)
- Web記事 Web検索: Can AMD Strix Halo Actually Serve LLMs? Real Workloads, Real Numbers — https://www.smfclearinghouse.com/blog/2026-08-06-strix-halo-radeon-8060s-llm-inference-benchmark/
Can AMD Strix Halo Actually Serve LLMs? Real Workloads, Real Numbers
- Web記事 Web検索: AMD Strix Halo (Ryzen AI Max+ 395) LLM benchmarks — measured — https://github.com/botAGI/strix-halo-llm-benchmarks
AMD Strix Halo (Ryzen AI Max+ 395) LLM benchmarks — measured
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS