続・Qwen追跡:Flash-Nextと27B、ローカル推論の実力を実測で比べる

圧縮して大幅に小さくした巨大モデルが、フル精度の小型モデルに勝つ――。そんな実験報告が、ローカルLLMコミュニティで注目を集めています。舞台はAlibabaのQwen3.8シリーズです。Flash-Nextは125BパラメータのMoEで、複数の専門家ネットワークのうち必要な一部だけを動かします。1リクエストあたりの活性化は約6Bです。一方の27Bは全パラメータを常時使うdense型で、262Kトークンの長い文脈を扱えます[2]。

注目の実験はRedditに投稿されました[1]。投稿者の環境では、27BはQ8量子化(重みを圧縮してメモリを節約する仕組み)で動くものの、Flash-NextはIQ2というかなり粗い圧縮でしか収まりません。当初の助言は「勝負になるか、Q8が圧勝する」が大半でした。ところが実際に試すと、複雑で微妙なコーディングバグの発見ではFlash-Next IQ2が明確に優っていたといいます。テストを実行し、問題を段階的に考え、探すべき場所がわかっている。投稿者は「小さな知性のきらめきがある」と表現しました。あくまで主観的な評価ですが、体感の差は大きかったようです。余談ながら、キャラクター性を問う評価でもFlash-Nextが上だったと付け加えられています。

公式ベンチマークでも方向性は一致しています[2]。ソフトウェア開発系のDeepSWE 1.1では58.7対42.2、SWE-bench Multilingualでは81.0対73.8と、Flash-Nextが大きくリードします。長時間のエージェント作業を測るJobBenchでは55.7対33.4と差が開きました。一方、SWE-bench Proは62.5対61.7の僅差で、タスクによって差の幅は変わるようです。

さらに具体的なのが、ローカル推論の実測レポートです[5]。機器はCore i5-12600K、RTX 4070 12GB、64GB DDR5、NVMe SSDという中堅の1枚構成です。Flash-NextはVRAM・システムRAM・NVMeにまたがるn-gram参照テーブル(よく現れる語の並びを記録して引き当てる仕組み)と組み合わせて動いています。結果、Strata環境でのデコード速度は、素のllama.cppで動く27Bのほぼ2倍でした。プロンプトの読み込み(prefill)はGPUフル速度で、負荷時の消費電力は両モデルでほぼ同じです。知性の目安として作られた概算では、Flash-Nextが約90、27Bが約74。フル精度ならGPQA、LiveCodeBench、SWE-bench Verifiedで約15%の差がつくという見立てです。

しかし、27Bが不要になるわけではありません[5]。まずメモリの問題です。27BはVRAMに完全に収まり、システムRAMを1バイトも使いません。Flash-Nextは専門家ネットワークの大半をホスト側に追い出すため、DDR5を大きく占有します。次に長文脈です。27Bの層の4分の3はGated-DeltaNetという線形ブロックです。これは従来のKVキャッシュ(会話履歴を保持し続けるメモリ領域)が肥大しない構造で、262Kの全文脈をVRAM内に保持できます。128Kを超える作業では、こちらが頼りになるといいます。

コミュニティの関心は「次」にも向いています[4]。別の投稿者は、Flash-Next以外の50〜150B級MoEを探し、GPT OSS 120b、Mistral 4 small 119b、Qwen 3.5 122b A10b、Ling 3.0 flashなどを候補に挙げました。この投稿も「エージェント的コーディングならFlash-Nextが王様」と認めたうえで、コード以外に強いモデルを求めているのが特徴です。コーディングが必要なときはClaudeやCodexを使うと語られています。この2つはAPI専用で、ローカル実行の対象にはなりません。クラウドとローカルの役割分担がはっきりしてきたようです。

こうした流れを反映して、27B対Flash-Nextの比較記事やベンチマークランキングも複数公開されています[6][6][8]。X(旧Twitter)の日本のトレンドには「OpenAIのAI」[3]や「ClaudeDuet」という語が並ぶ日もあり、クラウド側の話題も絶えません。その一方で、ローカル勢の議論はQwen同士の比較に集中しているようです。

今回の素材から読み取れるのは、優劣を単一の答えにしない姿勢です。能力重視の長時間エージェントならFlash-Next、メモリを他に残したいときや128K超の文脈なら27B[5]。そして粗い量子化でも、体感の質が予想以上に保たれる可能性を示した個人の報告がありました[1]。MoEをVRAM外に分散させて動かす運用が実用段階に入ったこと自体が、今回の最大の進展といえそうです。