
「速い」という数字が独り歩きしています。話題のHalogenは、Strix Halo/Ryzen AI MAX+ 128GB向けのローカル推論エンジンとして、FP4(重みを圧縮する4bit量子化)とn-gram表(短い語の組み合わせを引く表)でQwen3.8 125Bを62〜68 TPS(1秒あたりのトークン数)、262k context(文脈長)、4並列で動かすと主張されています。ただし今回確認できた資料では、Halogenそのものの実測や設定は直接確認できません。
まず土台となるStrix Haloの全体像は明確です。Ryzen AI Max+ 395は16コアのZen 5とRadeon 8060Sを備え、最大128GBのLPDDR5Xを共有します[1]。実測では7Bで46〜53 TPS、sparseな30Bで72〜75 TPS、gpt-oss 120Bで31〜34 TPS、denseな70Bで約5 TPSと報告されています[1]。sparseは必要な部分だけ計算するモデル、denseは全体を計算するモデルです。2026年9月時点で、128GBの小型PCは3,449〜3,999ドルでした[1]。ノートPCも同じチップを使い、Asus ROG Flow Z13は2,099ドル、HP ZBook Ultra 14は1,999ドルからでした[1]。メモリ価格の高騰により、2025年より高い水準にあります[1]。

速度の天井はメモリ帯域です。256-bit LPDDR5Xは公称256 GB/s、実測は約215 GB/sです[1]。これはDGX Sparkの273 GB/sに近く、RTX 5090よりかなり低いです[1]。以前取り上げた帯域の壁は、Halogenの主張にも影響しそうです。もし125B級で62〜68 TPSを狙うなら、FP4やn-gram表でトークンの読み出し量を抑える工夫が必要になります。
周辺の実験は、ローカル推論の一端を示しています。Qwen3.8-Flash-Next 125Bは、M1 Max 64GBでN-gram表を使い18 TPSと報告されています[6]。Qwen3.8-Nextの設計や、N-gram embeddingsとメモリ管理も整理されています[5][8]。hacker系の検証では、Strix Halo向けに最適化したベンチマークや設定が共有されています[7]。ASUS ROG Flow Z13では、512MBの動的UMA(CPUとGPUが共有するメモリ領域)と96GBの専用VRAM(GPU用に確保したメモリ)を比較し、専用VRAMでスループット(単位時間あたりの処理量)が10〜22.5%向上しました[2]。Liquid AI LFM2は224.7 TPSに達しました[2]。
エンジン選びも重要です。Beelink GTR9 Proでは、llama.cppのVulkanとROCmというGPUの駆動方式を比較し、この構成ではVulkanが速いと報告されています[3]。量子化は8bitと4bitを比較し、8bit版は4bit版より遅い結果でした[3]。35B級MoE(必要な部分だけ使うモデル)のQwen3.6-35B-A3Bでは、最初の回答トークンが1秒未満となり、3時間連続で並列4の負荷試験、1→4→8の容量測定も行われています[3]。失敗した依頼も分母に含め、回答文の品質ゲート(形式や繰り返しなどを確認する)で判定する方針です[3]。Lemonade/llama.cppとvLLMを比較し、単一ストリーム(1件ずつ処理する方式)と複数依頼をまとめて処理する方式も分けて評価しています[2]。Vulkanでは15B超のdenseモデルに上限があることも報告されています[2]。セットアップガイドは32GBから192GBまでを扱い、128GB Ubuntuの正確なコマンドとバージョンを公開しています[4]。

しかし、Halogenの実力を測るには条件が足りません。Strix Haloではdense 70Bが約5 TPS、sparse 120Bでも31〜34 TPSです[1]。125BのQwen3.8-Flash-Nextは、別機種のM1 Maxで動いた例で18 TPSでした[6]。同じモデル・同じ圧縮率・同じ文脈長・同じ並列数でHalogenをStrix Halo上で試した報告はありません。Strix Haloは128GB統合メモリを持つ小型PCで、VRAM 8〜16GBの一般的なGPUとは前提が異なります。3060/4060級の実測や消費電力の実測値も確認できません。ガイドは金銭による順位付けを否定し、テスト済み・他人報告・未テストを区別しています[4]。
次に注目すべきは、prefillとdecodeの両立です。prefillはプロンプト全体を一括処理する段階で、decodeはトークンを1つずつ生成する段階です。Halogenが4並列を主張するなら、帯域とメモリ管理の勝負になります。Strix Haloの統合メモリは大型モデルを載せる価値がありますが、速度は別問題です。192GBのRyzen AI Max+ PRO 495も控えているため、ローカル推論の選択肢は増えそうです[1]。
引用ソース
- Web記事 記事全文: AMD Strix Halo Local LLM Benchmarks: Ryzen AI Max+ 395 (2026 … — https://presenc.ai/research/amd-strix-halo-local-llm-benchmarks-2026
Strix Halo is AMD’s Ryzen AI Max line, led by the Ryzen AI Max+ 395: 16 Zen 5 cores, a Radeon 8060S integrated GPU, and up to 128GB of unified LPDDR5X memory. It is the x86 option for running large models on one small ma
- Web記事 記事全文: AMD Strix Halo Local AI Stack Benchmarks – GitHub — https://github.com/rolandpascua-cloud/strix-halo-ai-benchmarks
Executive Overview: A definitive performance evaluation of local generative AI models on the AMD Ryzen AI Max+ 395 (Strix Halo) platform, comparing single-stream inference engines (Lemonade/llama.cpp) against production
- Web記事 記事全文: AMD Strix Halo (Ryzen AI Max+ 395) LLM benchmarks — measured — https://github.com/botAGI/strix-halo-llm-benchmarks
Real measured numbers for local LLM inference on a Strix Halo box: decode pace, time to first answer token, prompt-cache effect, sustained-load drift, quant and backend comparisons. Every value below links to a permanent
- Web記事 記事全文: AMD Strix Halo Guide: Local LLM Setup & Benchmarks — https://strixhaloguide.com/
Strix Halo GuideIndependent · measured · reproducible
AMD Strix Halo · Ryzen AI Max · Models, setup and buying
Choose a model for your RAM and get local AI running on your AMD Strix Halo PC.
Find a model to try for - Web記事 Web検索: On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and … — https://arxiv.org/html/2608.30320
On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and …
- Web記事 Web検索: 125B Qwen3.8-Flash-Next hits 18 tok/s on M1 Max 64GB with N-gram table … — https://lilting.ch/en/articles/qwen38-flash-next-llamacpp-m1max-test
125B Qwen3.8-Flash-Next hits 18 tok/s on M1 Max 64GB with N-gram table …
- Web記事 Web検索: I optimized my Strix Halo for local LLMs: Here are the benchmarks and … — https://www.hardware-corner.net/strix-halo-llm-optimization/
I optimized my Strix Halo for local LLMs: Here are the benchmarks and …
- Web記事 Web検索: N-gram Embeddings and Memory Management | QwenLM/Qwen3.8-Flash-Next … — https://deepwiki.com/QwenLM/Qwen3.8-Flash-Next/2.3-n-gram-embeddings-and-memory-management
N-gram Embeddings and Memory Management | QwenLM/Qwen3.8-Flash-Next …
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。








RECENT COMMENTS