続・Qwen3ローカル推論、KFlashが見せた最新の速度記録

Macノート1台で、270億パラメータ級のAIモデルが毎秒65トークンで動いた。こんな実測報告が、ローカルLLMコミュニティで話題になっています。しかも舞台は最新フラッグシップではなく、数年前のMacです。前回の記事ではQwen3.8 27BをSSDから読み出す推論と、精度回復の工夫を追いました。その後の話題の中心は、推論速度をめぐるエンジン間の競争です。同じモデル、同じMacでも、ソフトウェア次第で速度が変わる。今回の素材は、その面白さをよく見せてくれました。

きっかけは、Redditのr/LocalLLaMAへの投稿です[1]。Apple Silicon向け推論エンジン「Kapitsa」の開発者Yeさんが、最新バージョン同士のベンチマークを公開しました。KapitsaはQwenやNemotronモデル向けに作られた高速化エンジンです。同じ週には、Inco社からもApple Silicon最適化エンジン「Splash 1.4.0」がリリースされています。比較対象はQwen 3.8の27B/4B/35Bを4ビット量子化(4Q)したモデル。機材は48GB搭載の2024年製MacBook Pro(M4 Pro)と、16GBの2021年製MacBook Pro(M1 Pro)です。投稿者は「128GBのM5 Ultraではなく、人が実際に使うMacで測った」と強調しています。

結果は注目に値します。新方式「KFlash」を載せたKapitsa 0.2が約65トークン/秒。対するSplash 1.4.0のDFlash2方式は約50トークン/秒でした[1]。同じ条件での約3割の差です。仕組みの違いはシンプルにまとめられます。高速化の定番「推測的デコーディング」では、小さなドラフトモデルが次の約7トークンを先読みし、大きなモデルが1回の処理で正誤を確認します。DFlash2は予測列を1本だけ確認し、最初の誤りで停止します。一方のKFlashは、候補を木構造にして優先度の高いものから同じ1回で確認します。先読みモデルが迷った場面でも、次点の候補まで検証に回せるわけです。迷いの多い文章ほど差が開くのでは、と思われます。

Hacker Newsでも、旧型GPUでの実測が共有されました[2]。Tesla P100を2枚使い、Qwen 3.8 27Bをq6_k量子化で動かすと約60トークン/秒という報告です。P100は2016年登場のデータセンター向けGPUで、今ではずいぶん古い部類に入ります。それでも27Bモデルをこの速度で動かせるのは、量子化と2枚構成の成果と言えそうです。コメント欄には「どんなシステムで動いているのか」との質問が寄せられ[4]、投稿者が「OSはLinux Mint、本体はDell」と答えています。特別な環境ではなく、身近なLinuxマシンでの実行だったようです。

24GB GPUでのQwen3 32B運用を解説したガイド記事も、具体的な目安をくれます[3]。Q4_K_M量子化ならVRAM消費は約19.8GBで、24GBカードに余裕を持って収まります。残り約4GBはKVキャッシュ(会話履歴を保持する作業領域)に回り、コンテキストは約32Kトークンまで快適に扱えるとしています。RTX 5070での実測は約40トークン/秒で、コーディングベンチマークではClaude Sonnet 4.5に匹敵するスコアと説明されています。FP16(量子化なし)では約64GB、Q8でも約34GBが必要です。48GBカードか2枚構成が要るため、24GB環境ではQ4_K_Mが事実上の選択肢になります。Ollamaなら10分以内に導入でき、API課金との損益分岐は電気代ベースで2か月未満という計算です[3]。ベンチマーク集計サイトでは、Aider polyglotの合格率40.0%、1回の実行コスト0.76ドルという数値も確認できます[5]。仕様や料金のまとめサイトもあり、情報はそろってきました。

しかし、明るい数字ばかりではありません。まず気になるのは、コンテキストが倍に伸びるごとにスループットが10〜20%低下するという指摘です[3]。長文を扱う場面では、表示される速度がそのまま当てにならないことになります。コーディング能力の合格率が40.0%にとどまる点も、品質面では伸びしろが残ると言えそうです[5]。機材の側にも制約があります。16GBのM1 Proは27Bモデルにはかなり厳しい構成で、ベンチマークが4ビット量子化を前提にしているのもそのためと思われます[1]。一方で、エンジン選びの影響の大きさを示す報告は相次いでいます。M5 ProでのQwen3.8 27B検証では、MLXエンジンが速度を40%向上させたというレビューがあり[6]。Ollama、llama.cpp、MLXをApple Silicon上で比べた記事や、Qwen3.5 35B/4B向けのMLXベンチマーク資料[6][6]も公開されています。同じモデルでも、環境設定(セットアップ)次第で体感速度が変わるようです。

モデルの性能が横並びになってきた今、差がつくのは「どのエンジンで、どの量子化で、どの機材に載せるか」の組み合わせのようです。アルゴリズムの工夫だけで約3割の速度差が生まれた今回の結果は、ハードウェアを買い替えなくてもローカル推論はまだ速くなることを示しています。2021年製のMacと旧世代GPUが舞台に選ばれたことも、この流れの象徴に思えます。次の注目点は、この速度競争が長文処理や品質面の課題をどこまで埋められるかでしょう。ローカルで動くAIの選択肢は、ますます現実的になっていくようです。