Halogen、Strix Halo一点集中で生成54〜94 tok/s——エージェント実用EPの攻防

まず正直に書きます。発表資料では、Halogenそのものの名前や実測、FP4やn-gram表の設定は明らかにされていません。話題のHalogenは、Strix Halo/Ryzen AI MAX+ 128GB向けのローカル推論エンジンの一つとされます。ハッカーや開発者がAIのローカル推論を試した文脈で、Gufoの競合として言及されています。

発表資料が語るのは、Halogenに先立つ土台となるStrix Haloです。Ryzen AI Max+ 395は16コアのZen 5と40CUのRadeon 8060S、最大128GBのLPDDR5X統合メモリを1チップに搭載します[1]。70Bや120Bを載せる鍵は、iGPUにメモリを割り当てる設定です。WindowsではAdrenalinで96GBを専用メモリに設定し[1]、LinuxではBIOSのフレームバッファを小さくしてGTTで共有メモリを必要に応じて使います[1]。

容量は大きいものの、速度はメモリ帯域に縛られます。記事[1]では、256-bit LPDDR5X-8000の理論値は約256GB/s、実測は約215GB/sと報告されています。記事[2]は273GB/sを前提に、Llama 3.3 70Bの4bit量子化で5.1 TPS、DeepSeek-R1-Distill-32Bで11.2 TPSという実測値を示しました。記事[1]の要約では、30B MoE(必要な部分だけ使うモデル)で約100 TPS、密な70Bモデルは一桁TPSです。

画像出典: 記事全文: AMD Strix Halo Local LLM: 128GB Benchmarks Tested (2026)

エンジン選びも重要です。記事[3]はllama.cppのVulkanとROCmを比較し、その構成ではVulkanがdecodeで速いと報告しています[3]。decodeはトークンを1つずつ生成する段階で、prefillはプロンプト全体を一括処理する段階です。初回答までの速さに関わるのはprefillです[3]。記事[3]では、Qwen3.6-35B-A3Bの4bit量子化で初回答まで1秒未満です。

画像出典: 記事全文: AMD Strix Halo (Ryzen AI Max+ 395) LLM benchmarks — measured

ここでQwen3.8 Flash Nextが現れます。記事[4]は125BのQwen3.8-Flash-NextがM1 Max 64GBでN-gram表を使い18 tok/sを出したと報じました。N-gram表はよく出る語の続きを引くための表です。記事[6]はDGX SparkでNVFP4(4bit浮動小数点の圧縮)を使い41.7 tok/sと報告しました。記事[4]はStrataのforkでQwen3.8-Flash-Next 125Bを扱っています。Halogenの主張に近いFP4とn-gram表の組み合わせは、発表資料では別機種での報告にとどまります。

ただし、別の観点もあります。Strix Haloの強みは容量で、速度は帯域が上限です[1]。記事[3]は3時間の連続負荷や並列1→4→8を測りました。単発のTPSより、長時間と複数人の安定性を重視する設計です[3]。記事[4]はQwen3.8-Nextの設計評価を扱い、モデル側の構造が速度と品質に影響することを示しています。Halogenが62〜68 TPSや4並列を主張しても、発表資料ではStrix Haloでの実測は確認できません。

結局、発表資料から言えるのは、Halogenというエンジン自体よりも、Strix Haloという128GB統合メモリの器と、Qwen3.8 Flash Nextのような大規模モデルをどう載せるかです。FP4やn-gram表は有望に見えますが、62〜68 TPS、262kコンテキスト、4並列は発表資料では確認できませんでした。読者が試したくなるのは、まず96GBの割り当てとVulkan/ROCmの比較、そして4bitと8bitの速度差でしょう[1][3]。

引用ソース

Web記事 記事全文: Run Local LLMs on AMD Strix Halo (Ryzen AI Max+ 395) — https://codersera.com/blog/amd-strix-halo-ryzen-ai-max-local-llm-setup-2026/

Quick answer. To run 70B and 120B models on a Ryzen AI Max+ 395, allocate memory to the iGPU (96 GB via AMD Adrenalin on Windows, or a GTT kernel parameter plus a small BIOS framebuffer on Linux), then run LM Studio, Oll
Web記事 記事全文: AMD Strix Halo Local LLM: 128GB Benchmarks Tested (2026) — https://www.praveentechworld.com/blog/amd-strix-halo-local-llm-128gb-unified-memory-benchmarks

Part of our hardware troubleshooting guide series
On This Page (14 sections)
Planning to run quantized DeepSeek, LLaMA 3, or Mistral locally? Calculate exact GPU VRAM headroom, context window limits, and KV cache overhea
Web記事 記事全文: AMD Strix Halo (Ryzen AI Max+ 395) LLM benchmarks — measured — https://github.com/botAGI/strix-halo-llm-benchmarks

Real measured numbers for local LLM inference on a Strix Halo box: decode pace, time to first answer token, prompt-cache effect, sustained-load drift, quant and backend comparisons. Every value below links to a permanent
Web記事 Web検索: 125B Qwen3.8-Flash-Next hits 18 tok/s on M1 Max 64GB with N-gram table … — https://lilting.ch/en/articles/qwen38-flash-next-llamacpp-m1max-test

125B Qwen3.8-Flash-Next hits 18 tok/s on M1 Max 64GB with N-gram table …
Web記事 Web検索: GitHub – sergqwer/strata-nvfp4: Strata fork: Qwen3.8-Flash-Next 125B … — https://github.com/sergqwer/strata-nvfp4

GitHub – sergqwer/strata-nvfp4: Strata fork: Qwen3.8-Flash-Next 125B …
Web記事 Web検索: [Benchmark] Qwen3.8-Flash-Next NVFP4 on a DGX Spark: 41.7 tok/s, RAM … — https://ai-muninn.com/en/blog/qwen38-flash-next-nvfp4-dgx-spark-vllm-recipe

[Benchmark] Qwen3.8-Flash-Next NVFP4 on a DGX Spark: 41.7 tok/s, RAM …
Web記事 Web検索: [2608.30320] On the Design of Qwen3.8-Next Architecture: Evaluation … — https://arxiv.org/abs/2608.30320

[2608.30320] On the Design of Qwen3.8-Next Architecture: Evaluation …

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

🔁 追記 2026-11-12：公式READMEの一次実測値

生成時は一次資料の実測表に届かなかったので、公開時点で補強します。[1]は0.18.0既定設定(Ryzen AI Max+ 395/128GB、パッケージ電力85W前後)の公称値で、文章生成54 tok/s・コード執筆73・繰り返し94。prefillは8K/32K/131Kで1,821/1,740/1,675 tok/s、131Kでも32K比96%と減衰しない。売りはエージェントターン設計で、3万〜9.6万トークンのセッションで最初のトークンまで約1.6秒・ターン全体4.2秒(115ターンの中央値、クライアント側実測)。

[2]の量子化はtrunk/experts/下書きヘッドで4.16bpw(全179.55BパラメータではFP8のn-gram表47.7GiBを含め5.25bpw)。投機デコードは本体MTPヘッドと「リクエスト文書自体のprompt lookup」の二系統で、temperature 0では逐語贪婪デコードとバイト単位同一を保証し各リリースで検証済み。小型決定モデル(d3-nano)はNPUに逃がし、OpenAI APIとAnthropic Messages APIを1ポートで出す。制約も明記: 同時4セッションまで(プリエンプションなし)、gfx1151専用ビルド、画像は読み取りのみ。

[3]の第三者実測(llamaperf): Qwen3.8 125B(アクティブ6B) UD-Q4_K_XLでprefill 1,888 tok/s(16K)、生成35.0(短文脈)/34.1(16K) tok/s、MTP併用53.7 tok/s。別報告では262kコンテキスト・4並列の実エージェントトラフィックで62〜68 tok/s、prompt cacheヒット率98〜99.6%。

引用ソース(追記)

GitHub — https://github.com/peonist-ai/halogen-flash-server

halogen is the fastest way to run Qwen3.8-Flash-Next on AMD Strix Halo, and it is built for agents: deep into a long session, each turn starts answering in about 1.6 seconds. decode up to 94 tok/s on repetitive output, 73 writing code, 54 prose
HuggingFace — https://huggingface.co/peonist-ai/halogen-qwen3.8-flash-next

n-gram lookup table: its own file, FP8, 47.7 GiB, paged rather than resident
llamaperf — https://llamaperf.com/report/23da4621-466f-44e2-ae8c-084eb4f068e5

Gufo reached 1888 t/s on a 16K prefill, 35.0 t/s decode at short context and 34.1 t/s decode at 16K context