「まだMTPのままですか？」という呼びかけが、Redditのr/LocalLLaMAで話題になっています [1]。AI推論のFlash Nextで、DFlash2へのアップグレードがhacker的な設定調整の話題です。投稿者はApple SiliconのM5 Maxで、llama.cppのバージョン0.8.0（ローカルでLLMを動かすエンジン）を使い、自分で量子化したモデルをテストしました [1]。
DFlash2は、次のトークンの予測を補助モデルに任せる仕組みです。補助モデルが候補を出し、本体モデルがまとめて確認します。投稿では、Q4_K_XLという量子化（重みを圧縮してメモリを節約する仕組み）で、MTPという別のドラフト手法とDFlash2を比べました [1]。コードでは80.5 TPS（1秒あたりのトークン数）から95.1 TPSへ、リストでは91.4 TPSから127 TPSへ、複数の結果をまとめた平均では75.1 TPSから87.9 TPSへ向上しました [1]。平均で17%の速度向上です。6kコンテキスト（6000トークンの長さ）でも19%の向上が報告されています [1]。
ただし、設定を詰めないと差は出ません。投稿者は、MTPでは候補数3、DFlash2では候補数5、確率下限はどちらも0.75に調整したと述べています [1]。公式のベンチマークは、通常1トークンずつ生成する基準と、まとめて予測する投機デコードを同じデータで比べ、速度とAcceptanceを測る仕組みです [2]。vLLMとSGLangはサーバーを起動してAPI経由で測り、TransformersとMLXはローカルで動きます [2]。Acceptanceは、予測が本体に受け入れられる割合です。コードでは94%から84%へ下がりましたが、速度は上がりました。リストではどちらも98%で、差が大きく出ました [1]。
こうした比較は、Redditだけではありません。dev.toでは、DFlash-2が精度とスループット（処理量）で向上した後継として、base/DFlash/DFlash-2を比較しています [3]。このdev.toの記事は検索結果にも出ており、注目されています 。Zennでは、メインモデルとDFlashの速度・Acceptanceを比べる記事があります [5]。Qiitaでは、Qwen3.8-27Bの投機デコードが実測で2倍になったと報告されています [5]。
ローカル実行の観点では、105GBのローカルLLMを48GB Macで動かす実用比較という記事もあり、Flash Next関連の実用性に関わる話題です [4]。27Bモデルで4bitと8bit（重みの圧縮率）、Flash Next、DFlash2を比べる記事も出ています [5]。Qwen3.8-Flash-Nextのベンチマークスコア一覧もあり、比較の材料が増えています [5]。
DFlash2は、すべての場面で速くなるわけではありません。散文では-3%と遅くなり、25Kコンテキスト（25000トークンの長さ）ではMTPとほぼ同じになったと報告されています [1]。MTPはほぼ横ばいですが、DFlash2は長いコンテキストで落ち込むようです [1]。また、DFlash-2はまだ対応モデルが数少ないようです [3]。Acceptanceが下がる場面もあるため、速さだけを見ると判断を誤ります。
DFlash2は、Flash Nextのローカル推論を速くする選択肢です。ただし、コード・リスト・散文・コンテキスト長で結果が変わります。自分の環境でセットして測ることが、hacker的な近道です。
引用ソース
- Reddit Reddit r/LocalLLaMA: PSA: Upgrade Flash Next to DFlash2 if you haven’t! +17% on average — https://www.reddit.com/r/LocalLLaMA/comments/1xjlgm4/psa_upgrade_flash_next_to_dflash2_if_you_havent/
PSA: Upgrade Flash Next to DFlash2 if you haven’t! +17% on average
- Web記事 記事全文: Running Benchmarks | z-lab/dflash | DeepWiki — https://deepwiki.com/z-lab/dflash/6.1-running-benchmarks
This document explains how to execute performance benchmarks for DFlash using the provided benchmarking infrastructure. It covers the automated benchmark CLI and direct invocation of the dflash.benchmark module to evalua
- Web記事 記事全文: DFlash-2: Benchmarking Z-Lab’s Successor to DFlash for Accuracy and … — https://dev.to/oooocean66/dflash-2-benchmarking-z-labs-successor-to-dflash-for-accuracy-and-throughput-gains-42jo
A while back, we covered DFlash, a draft-token prediction technique that uses a diffusion model. At the time, we tested it on Gemma-4-12b-it-QAT, and the native Assistant model came out ahead — DFlash wasn’t able to show
- Web記事 Web検索: Ran a 105GB Local LLM on a 48GB Mac. A Practical Comparison of Flash … — https://note.com/azimnb/n/n7e4bb1d33655?hl=en
Ran a 105GB Local LLM on a 48GB Mac. A Practical Comparison of Flash …
- Web記事 Web検索: Qwen3.8 27B — 4bit vs 8bit vs Flash Next, and is DFlash2 really … — https://blog.brainosi.com/en/2026-09-01-qwen38-27b-4bit-8bit-flash-next/
Qwen3.8 27B — 4bit vs 8bit vs Flash Next, and is DFlash2 really …
- Web記事 Web検索: Dflashが進化した!Dflash-2を追いかける〜メインモデル/Dflashと速度・Acceptanceを比較してみた〜 — https://zenn.dev/highreso/articles/2600bd34c59517
Dflashが進化した!Dflash-2を追いかける〜メインモデル/Dflashと速度・Acceptanceを比較してみた〜
- Web記事 Web検索: Qwen3.8-Flash-Next Benchmark Scores & Evals | BenchmarkList — https://benchmarklist.com/models/qwen-qwen3.8-flash-next/
Qwen3.8-Flash-Next Benchmark Scores & Evals | BenchmarkList
- Web記事 Web検索: Qwen3.8-27B の投機デコード、実測で 2 倍になった（DFlash2 vs MTP を同じベンチで比較） — https://qiita.com/engchina/items/c7611b6fa12d6e9d8317
Qwen3.8-27B の投機デコード、実測で 2 倍になった（DFlash2 vs MTP を同じベンチで比較）
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS