続報：Qwen3.8-27Bのローカル推論、旧世代GPUでの実測が相次ぐ

2017年製のGPUで、最新の27Bモデルが動く——。前回はQwen3.6-35Bへの挑戦を追いましたが、その後もローカル推論の実験は止まっていません。8月14日にApache 2.0で公開されたQwen3.8-27Bは、27Bのdenseモデルです。denseモデルは、全パラメータを毎回使う標準的な構造を指します。ビジョンエンコーダを内蔵し、ネイティブで262,144トークン。最大100万まで拡張できる長いコンテキストが持ち味で、1枚のGPUで動くモデルとしては現時点で最強クラスとも評されます[4]。

Hacker Newsで目を引いたのは、Tesla P100を2枚使った構成の投稿です。量子化(重みを圧縮してメモリを節約する仕組み)のQ6_Kという形式にしたQwen 3.8 27Bが、約60tps(1秒あたりの生成トークン数)で動いたという報告でした[1]。コメント欄には「どんなシステムで動かしているのか」との質問が付き、投稿者の答えはOSがLinux Mint、本体はDell製マシンというものでした[3]。特別な装置ではなく、身近な環境の組み合わせでAIモデルが動いている点が印象的です。

V100 32GBでの検証記事は、この流れを深めます。V100は2017年登場のVolta世代で、bfloat16やFP8といった新しい数値形式をハードウェアで持たず、FlashAttention 2も動きません。2026年の推論スタックが次々と切り捨ててきたアーキテクチャです。それでも131,072トークンのコンテキストを1枚で収めることに成功しています[4]。

カギとなったのは設定でした。–reasoning-budget 1024という、思考バジェット(答えを出すまでに考える量の上限)を1024に制限する指定を加えると、134秒かけて答えを出せなかった問題が39秒で正解します。指定なしではモデルが考え続け、答えを出さないまま終わってしまうのです。またCUDAのバージョン13がVolta世代のサポートを外したため、GPU選択画面の既定のフィルターではV100が表示されません。CUDA 12.xと、Volta向けのビルド指定sm_70が事実上必須で、llama.cppのビルドには24スレッドで約16分かかったといいます[4]。

現行構成での比較も進んでいます。RTX 4090 48GBの環境で、NInfer(複数の量子化を混ぜた方式)、q27(Q6_K)、vLLM、llama.cpp(BF16のままRTX 3090を追加したデュアルGPU)の4構成を比較しました。vLLMは重みもKVキャッシュもFP8に圧縮します。KVキャッシュは、過去のトークンの計算結果を保持する領域です。測定条件は、約8.4Kトークンのプロンプトに512トークン生成、temperature 0、Qwenの推論機能を有効にした同一のコードレビュー作業を5回ずつというものです[2]。

結果は、使い分けの指針を示すものでした。単一ユーザー速度で最速だったのはNInferで、4方向の中央値はq27とわずか0.16%差。同じスループット層として扱うべきとまとめています。多エージェントや出力上限ありの作業には、固定出力バジェット下で最良の完了動作を見せたq27が適します。長いプロンプトには、3つの長文検索ケースで最短のエンドツーエンド時間を記録したvLLMが推奨です。NInferは使いやすいWebUIも備え、日常のチャットやコーディング向けの既定候補とされています[2]。

しかし、落とし穴もはっきりしています。サンプル数が少なく、精度の安定した順位付けはできないと、作者自身が明記しています。BF16構成は難問セットHard30で先行し、途中で切れた4つの回答をすべて復元しました。それでも、より難しい判別サンプルでは首位を取れません。F16-KVのデュアルGPU構成では245Kトークンのケースが収まらず、対象ケースのみで27/27という報告です[2]。測定条件の違い(NInferだけ2つの同時ウォームアップを使用)も、後から補正せず開示したままにしています。さらに1世代前のQwen 3.6 27Bなら、P100 16GB1枚では品質を落とす必要があると判定されています[5]。旧世代GPUでは、枚数と量子化のセッティングが成否を分けるようです。

周辺の動きも活発です。Hugging Faceには新しい4ビット量子化NVFP4を組み合わせた派生モデルが登場し[5]、VRAMと速度を実測した解説記事[5]や、Qwen 3 32Bを24GB GPUで動かす2026年版のガイド、GPU別の性能をまとめるベンチマークサイト[5]も見つかります。旧世代GPUでも設定と構成の工夫次第で最新モデルが戦える、というのが一連の報告の共通項です。ただし動くかどうかだけでなく、思考バジェットや数値形式、コンテキスト長の制約まで含めた設計が求められます。ローカル推論の選択肢は、ハードウェアの新しさだけでなく、こうした知見の蓄積によって広がり続けているようです。