続・Qwen3ローカル推論、KFlashが見せた最新の速度記録

Macノート1台で、270億パラメータ級のAIモデルが毎秒65トークンで動きました。こんな実測報告が、ローカルLLMコミュニティで話題になっています。舞台は最新フラッグシップではなく、数年前のMacです。前回の記事では、Qwen3.8 27BをSSDから読み出す推論と、精度回復の工夫を追いました。その後の話題の中心は、推論速度をめぐるエンジン間の競争です。同じモデル、同じMacでも、ソフトウェア次第で速度が変わります。

きっかけは、Redditのr/LocalLLaMAへの投稿です[1]。Apple Silicon向け推論エンジン「Kapitsa」の開発者Yeさんが、最新バージョン同士のベンチマークを公開しました。KapitsaはQwenやNemotronモデル向けに作られた高速化エンジンです。同じ週には、Inco社からApple Silicon最適化エンジン「Splash 1.4.0」もリリースされています。比較対象はQwen 3.8の27B/4B/35Bを4ビット量子化したモデルです。量子化は、重みを圧縮してメモリの節約につなげる仕組みです。機材は48GB搭載の2024年製MacBook Pro(M4 Pro)と、16GBの2021年製MacBook Pro(M1 Pro)です。投稿者は「128GBのM5 Ultraではなく、人が実際に使うMacで測った」と強調しています。

結果は注目に値します。新方式「KFlash」を載せたKapitsa 0.2が約65トークン/秒。対するSplash 1.4.0のDFlash2方式は約50トークン/秒でした[1]。同じ条件での約3割の差です。背景にあるのは、高速化の定番「推測的デコーディング」です。小さな下書き用モデルが次の約7トークンを先読みし、大きなモデルが1回の処理で正誤を確認します。DFlash2は予測列を1本だけ確認し、最初の誤りで停止します。一方のKFlashは、候補を枝分かれした木構造に整理し、優先度の高いものから同じ1回で確認します。下書きモデルが迷った場面でも、次点の候補まで検証に回せるわけです。迷いの多い文章ほど差が開くのでは、と見られています。

Hacker Newsでも、旧型GPUでの実測が共有されました[2]。Tesla P100を2枚使い、Qwen 3.8 27Bを量子化して動かすと約60トークン/秒という報告です。P100は2016年登場のデータセンター向けGPUで、今ではずいぶん古い部類に入ります。それでも27Bモデルをこの速度で動かせるのは、量子化と2枚構成の成果です。コメント欄には「どんなシステムで動いているのか」との質問が寄せられ[4]、投稿者が「OSはLinux Mint、本体はDell」と答えています。特別な環境ではなく、身近なLinuxマシンでの実行でした。

24GB GPUでのQwen3 32B運用を解説したガイド記事も、具体的な目安を示しています[3]。4ビット圧縮のQ4_K_Mという形式なら、VRAM(GPUの作業メモリ)消費は約19.8GBで、24GBカードに余裕を持って収まります。残り約4GBはKVキャッシュに回ります。KVキャッシュは、会話履歴を保持する作業領域です。コンテキスト(一度に扱える文章量)は約32Kトークンまで快適に扱えるとしています。RTX 5070での実測は約40トークン/秒で、コーディングベンチマークではClaude Sonnet 4.5に匹敵するスコアと説明されています。量子化しない場合は約64GB、8ビット圧縮でも約34GBが必要です。48GBカードか2枚構成が要るため、24GB環境ではQ4_K_Mが事実上の選択肢になります。Ollamaなら10分以内に導入でき、API課金との損益分岐は電気代ベースで2か月未満という計算です[3]。ベンチマーク集計サイトでは、コーディング試験「Aider polyglot」の合格率40.0%、1回の実行コスト0.76ドルという数値も確認できます[5]。

しかし、明るい数字ばかりではありません。まず、コンテキストが倍に伸びるごとにスループット(1秒あたりの処理量)が10〜20%低下するという指摘があります[3]。長文を扱う場面では、表示される速度がそのまま当てにならないことになります。コーディング能力の合格率が40.0%にとどまる点も、品質面では伸びしろが残ります[5]。機材の側にも制約があります。16GBのM1 Proは27Bモデルにはかなり厳しい構成で、ベンチマークが4ビット量子化を前提にしているのもそのためです[1]。一方、エンジン選びの影響の大きさを示す報告は相次いでいます。M5 ProでのQwen3.8 27B検証では、MLXエンジンが速度を40%向上させたというレビューがあり[6]。Ollama、llama.cpp、MLXをApple Silicon上で比べた記事や、Qwen3.5 35B/4B向けのMLXベンチマーク資料[6][6]も公開されています。同じモデルでも、セットアップ次第で体感速度が変わるようです。

モデルの性能が横並びになってきた今、差がつくのは「どのエンジンで、どの量子化で、どの機材に載せるか」の組み合わせです。アルゴリズムの工夫だけで約3割の速度差が生まれた今回の結果は、ハードウェアを買い替えなくてもローカル推論はまだ速くなることを示しています。2021年製のMacと旧世代GPUが舞台に選ばれたことも、この流れの象徴に思えます。次の注目点は、この速度競争が長文処理や品質面の課題をどこまで埋められるかでしょう。ローカルで動くAIの選択肢は、ますます現実的になっていくはずです。