一台のStrix HaloでAI推論をどこまで実用化できるかという点で、GufoはGitHubで1020スターを集め、話題になっています[3]。二台構成のQ8推論から[2]、一台構成の拡張と同時利用へ焦点が移ったようです。
GufoはAMD Strix Halo向けに作られたオープンソースの推論エンジンで、Ryzen AI MAX+ 395とRadeon 8060S、最大128GiBの統合メモリを前提に、テキスト、音声、画像、動画などのモデルをOpenAI互換API（一般的なAPI形式）で提供します[1]。チップ向けに調整した計算部品を1つの実行ファイルにまとめ、Linuxでビルド・テストし、Windowsでも動く設計です[1]。
注目したいのは、Flash-Nextの一台構成です。Q4は重みを圧縮する量子化の形式で、このFlash-Nextでは、prefill（プロンプト全体を一括処理する段階）が1,801.01トークン/秒、decode（トークンを1つずつ生成する段階）が単一ユーザーで73.17トークン/秒と報告されています[3]。8ユーザーでは合計194.37トークン/秒です[3]。
27Bモデルでは、DFlash2という予測生成の補助モデルを使い、prefillが656.33トークン/秒、decodeが70.56トークン/秒とされています[3]。Gufoは各用途で最も良い1つのモデルを選び、元のモデルと突き合わせて品質を確認する方針です[1][3]。速度を上げる計算部品でも、リクエスト全体を遅くする場合は採用しないという原則もあります[4]。
実運用の工夫も増えました。ローカルで使うためのセットアップは、コンテナという実行環境を起動して、GPUデバイスとモデルフォルダを共有する形です[1][4]。長い会話を送り直すAIエージェント向けのキャッシュを備え、取り消しも前提にしています[3]。拡張レジストリ（公式の一覧）からレビュー済みモデルを追加できます[1]。例としてlfm3という拡張を追加すると、本体を変えずにモデルを増やせます[1]。
一方で、万能ではありません。コードはMITですが、モデルの重みは各公開者の条件に従います[1]。二台構成のGufo-TPは、Thunderbolt 4やInfiniBandなどの高速リンクで接続し、Q4とQ8のFlash-Nextを動かす方向です[2]。リンクの実測値は約37Gb/s、制御プロトコルは23で、古い相手とは接続できません[2]。数値とタイミングの限界も残っています[2]。Windows向けフォークもあります[4]が、バージョンの差が制約になるようです[2]。
周辺では、別の推論エンジンHalogenとGufoのprefillが2,000トークン/秒前後と語られています[5]。Strix HaloのローカルAI設定記事も出ており、一台でどこまで速く、どこまで安定して動かせるかが焦点になっています[5][6]。日本語の試行記事では、Strix Haloに「賢いミミズク」を住まわせるという表現で、GufoとQwen3.8-Flash-Nextが紹介されています[6]。
Gufoの面白さは、大きなGPUを積んだサーバーではなく、Strix Haloという一台の機械でAI推論を担う点にあります。Flash-Nextの速度、Flash推論のエージェント向けキャッシュ、拡張という三つの要素が揃い、hacker向けのローカルAI運用が一段進んだ印象です。
引用ソース
- Web記事 記事全文: Gufo: The Open Source Strix Halo AI engine – GitHub — https://github.com/gufo-org/gufo
Gufo is an open-source inference engine for one machine: AMD Strix Halo, the
Ryzen AI MAX+ 395 with its Radeon 8060S (gfx1151) and up to 128 GiB of
unified memory. It serves text, embedding, speech, image and video model - Web記事 記事全文: GitHub – uv-genai/gufo: GPU-hosted LLM inference for AMD Strix Halo … — https://github.com/uv-genai/gufo
Gufo-TP is a vertical local inference engine specifically built and optimized
for the AMD Strix Halo hardware: Ryzen AI MAX+ 395 systems with Radeon 8060S
(gfx1151), up to 128 GiB of unified memory — with RDMA tensor
par - Web記事 記事全文: github- gufo :Features,Alternatives | Toolerific — https://toolerific.ai/ai-tools/opensource/gufo-org-gufo
gufo
The Open Source Strix Halo AI engine. Qwen 3.8 Flash Next Q4_K_XL: 1,801.01 pp, 73.17 tg single user, 194.37 tok/s 8 users; Qwen 3.8 27B Q4_K_XL: 656.33pp, 70.56tg tok/s single user with DFlash2
Stars: 1020
README: - Web記事 記事全文: Gufo: the Strix Halo inference engine — https://gufo.blog/
01 / Principles
Why Gufo
We were tired of owning hardware we couldn’t fully use. So we built Gufo: an inference engine tuned end to end for Strix Halo, running only the best model in each class, with no performance left - Web記事 Web検索: Run Local LLMs on AMD Strix Halo (Ryzen AI Max+ 395) — https://codersera.com/blog/amd-strix-halo-ryzen-ai-max-local-llm-setup-2026/
Run Local LLMs on AMD Strix Halo (Ryzen AI Max+ 395)
- Web記事 Web検索: Strix Halo Local LLM Setup for AMD Ryzen AI MAX+ 395 — https://hogeheer499-commits.github.io/strix-halo-guide/
Strix Halo Local LLM Setup for AMD Ryzen AI MAX+ 395
- Web記事 Web検索: Halogen vs Gufo: Strix Halo Prefill Near 2,000 tok/s — https://blog.mushroom.cv/blog/strix-halo-halogen-gufo-prefill/
Halogen vs Gufo: Strix Halo Prefill Near 2,000 tok/s
- Web記事 Web検索: Strix Haloに賢いミミズクを住まわせてみた。Gufoで動かすQwen3.8-Flash-Next — https://note.com/toro3s/n/n42a492713511
Strix Haloに賢いミミズクを住まわせてみた。Gufoで動かすQwen3.8-Flash-Next
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS