「速さ」だけでは語れないエンジンです。Gufoは、AMD Strix Halo専用に作られたオープンソースのローカル推論エンジンです。Ryzen AI MAX+ 395とRadeon 8060S、最大128GiBの統合メモリを狙った設計です[1]。前回取り上げた二台接続のRDMAではなく、今回は一台構成の最新動向に焦点を当てます。
Gufoの狙いは、何でも動く汎用エンジンではなく、Strix Haloで「選りすぐりのモデルを速く・安定して動かす」ことです。テキスト、音声、画像、動画までそろうまとめ役を掲げています[1][4]。128GiB向けに最適化しつつ、小さいメモリ構成でも動くことを目指しています[1][4]。支えるモデルは、サイズごとに最良のものに絞る方針です。保守コードを減らし、最適化とテストに集中するためです[1][4]。
速度の数字も出ています。Qwen 3.8 Flash Nextの4bit系の圧縮設定(Q4_K_XL)では、prefill(プロンプト全体を一括処理する段階)が1,801.01トークン/秒、decode(トークンを1つずつ生成する段階)が単一ユーザーでは73.17トークン/秒です[3][4]。8ユーザー同時では合計194.37トークン/秒とされます[3][4]。別の27Bモデルでは、DFlash2という下書きモデルで先読みする仕組みを使い、prefillが656.33トークン/秒、decodeが70.56トークン/秒です[3][4]。ただし、ピーク値には繰り返し出力が含まれています[1][3][4]。
最新の上流では、さらに数字が更新されています。v0.27.0まで統合した一台構成のFlash-Nextでは、prefillが1,801.01トークン/秒、decodeが最大116.93トークン/秒と報告されています[2]。単発の速さと、実際の会話で続く速さは別の問題です[4]。計算部品が速くても、要求全体を遅くするなら採用しない、という方針も示されています[4]。
ここで注意が必要です。二台接続のTP2(二台を結ぶ並列構成)は、測定した範囲では一台より速いとされています[2]。ただし表は、v0.15.0系の古い実行ファイルで2026-10-14に測定した4bit設定の数値です[2]。約2,000トークンの入力と128トークンの生成を想定した表で、v0.27.0では再計測していません[2]。したがって、一台構成の最新数値と直接比較はできません[2]。検索結果には、Strix HaloのローカルLLMベンチマークや、長文入力のprefillが課題になり得るという話題もあります[5][8]。
Gufoは品質も別枠にはしません。最適化しても品質を落とさないように、モデルごとに品質レポートを置いています[1][4]。数値チェックや実行の一貫性、未解決の差を記録し、異なるモデルで計算部品を再利用しない方針です[1][4]。これは、変更の影響を小さくし、速さの裏で起きる劣化を抑えるためです。
運用面では、OpenAI APIの形で見せる点が手軽です。モデルの重み(学習済みデータ)を配置し、GPUにアクセスできるコンテナ(実行環境の箱)を起動すると、ポート8080でサーバーが起動します[1][4]。Open WebUIやCodex、OpenAI SDKからローカルの8080番ポートのAPIを指定するだけで使えます[4]。複数ユーザー、キャンセル、会話キャッシュ(過去のやり取りを再利用する仕組み)を、最初から重要な使い方として扱うのも、単発の速度計測との違いです[1][4]。
コミュニティの動きも出ています。Windows向け移植や、二台のStrix Haloを結ぶGufo RDMAが言及されています[4]。テスト済み設定集のようなリポジトリも見つかります[6][7]。Gufoは、Strix Haloという特殊なハードを、ローカルAIで使える形に整える試みです。次は、最大116.93トークン/秒の生成速度がどの実運用で再現されるかが見どころです[2]。
引用ソース
- Web記事 記事全文: Gufo: The Open Source Strix Halo AI engine – GitHub — https://github.com/gufo-org/gufo
Gufo is a vertical local inference engine for Linux and Windows, specifically built and optimized for AMD Strix Halo hardware:
Ryzen AI MAX+ 395 systems with Radeon 8060S (gfx1151), up to 128 GiB of unified memory.
Contr - Web記事 記事全文: GitHub – uv-genai/gufo: GPU-hosted LLM inference for AMD Strix Halo … — https://github.com/uv-genai/gufo
Gufo-TP is a vertical local inference engine specifically built and optimized
for the AMD Strix Halo hardware: Ryzen AI MAX+ 395 systems with Radeon 8060S
(gfx1151), up to 128 GiB of unified memory — with RDMA tensor
par - Web記事 記事全文: github- gufo :Features,Alternatives | Toolerific — https://toolerific.ai/ai-tools/opensource/gufo-org-gufo
gufo
The Open Source Strix Halo AI engine. Qwen 3.8 Flash Next Q4_K_XL: 1,801.01 pp, 73.17 tg single user, 194.37 tok/s 8 users; Qwen 3.8 27B Q4_K_XL: 656.33pp, 70.56tg tok/s single user with DFlash2
Stars: 1020
README: - Web記事 記事全文: Gufo: the Strix Halo inference engine — https://gufo.blog/
01 / Principles
Why Gufo
We were tired of owning hardware we couldn’t fully use. So we built Gufo: an inference engine tuned end to end for Strix Halo, running only the best model in each class, with no performance left - Web記事 Web検索: Ryzen AI MAX+ 395（Strix Halo）ローカルLLM 推論ベンチマーク 2026年版：70B / 120B を 96GB … — https://mypcrig.com/blog/strix-halo-local-llm-benchmark-2026/
Ryzen AI MAX+ 395（Strix Halo）ローカルLLM 推論ベンチマーク 2026年版：70B / 120B を 96GB …
- Web記事 Web検索: GitHub – orenaksakal/strix-halo-gufo-halogen-configs: Tested Gufo and … — https://github.com/orenaksakal/strix-halo-gufo-halogen-configs
GitHub – orenaksakal/strix-halo-gufo-halogen-configs: Tested Gufo and …
- Web記事 Web検索: GitHub – orenaksakal/strix-halo-gufo-halogen-configs: Tested Gufo and … — https://github.com/orenaksakal/strix-halo-gufo-halogen-configs/tree/main
GitHub – orenaksakal/strix-halo-gufo-halogen-configs: Tested Gufo and …
- Web記事 Web検索: Ryzen AI MAX+ 395（Strix Halo）prefill（プロンプト処理）ボトルネック公開ベンチ 2026年版:長文入力で … — https://mypcrig.com/blog/strix-halo-prefill-bottleneck-benchmark-2026/
Ryzen AI MAX+ 395（Strix Halo）prefill（プロンプト処理）ボトルネック公開ベンチ 2026年版:長文入力で …
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS