27Bクラスのモデルを、1枚のGPUで実用の速度で動かす。そんな試みが、推論エンジンvLLM(大規模言語モデルを高速に動かすオープンソースの仕組み)の周辺で相次いでいます。前回、次期Qwen4-27Bの痕跡がvLLMのPRに見つかったとお伝えしました。今回はその後の動きとして、現行の27Bクラスを実際にどう動かしているのか、最新の取り組みを追います。
まず目を引いたのは、MiaAI-Labが公開したQwen3.6-27B向けのvLLMデプロイ一式です[3]。モデルはNVFP4という量子化形式(重みを圧縮してメモリを節約する仕組み)で用意されています。量子化にはModelOptというツールが使われます。おかげで約27Bのdenseモデル(全パラメータを毎回使う通常の構造)が、コンシューマGPUでも動くサイズになります。Dockerコンテナと起動スクリプトが同梱で、OpenAI互換のAPIサーバーを数分で立てられるのが売りです。
速度面の工夫が、DFlash speculative decoding(草案モデルが先読みし、本体がまとめて検証することで速くする仕組み)です。草案モデルは10トークン先まで読み、z-lab/Qwen3.6-27B-DFlashが担います[3]。公開されている実測では、256トークンの出力を1〜4本の同時ストリームで処理して、合計33.7秒という結果が示されています[3]。複数ストリームを束ねた合計速度と、1ストリームあたりの平均の両方が測られています。
設定の考え方も細かく公開されています。GPUメモリの84%を重みに割り当てる指定です。同時に4本までというのは控えめな設定で、GPUに余裕があれば増やせる、と説明されています[3]。同じ冒頭のプロンプトを繰り返す場面では、プレフィックスキャッシュ(一度処理した冒頭部分を再利用する機能)でスループットが大きく伸びます。キャッシュの効果を避けるため、プロンプトに変化を加えた深い文脈のベンチマークも行われています[3]。画像処理の部分を省く「言語モデルのみ」モードで、メモリの負担も減らせます。
この取り組みを支えるのは、vLLM自身の積み重ねです。UCバークレー発のこのエンジンは、2023年6月に正式リリースされ、当初からLMSYSのVicunaやChatbot Arenaを支えてきました[2]。a16zから開発支援を受け、Google Cloud、NVIDIA、AWSなどとミートアップを重ねてきました。2024年10月には開発者向けのSlackも立ち上がっています。2024年12月にはPyTorchエコシステムに加わり、Metaとの提携ではLlama 3.1のFP8量子化とパイプライン並列を公式サポートしました[2]。
しかし、メモリさえ確保すれば速くなるわけではありません。Tom’s HardwareがRTX 5090をはじめとする環境でQwen 3.8 27Bをベンチマークした記事は、「VRAM容量だけでは、深刻なソフトウェアと推論エンジンのボトルネックを乗り越えられない」という結論を示しています[5]。VRAMを積んでも、エンジン側の処理が追いつかなければ速度は伸びないという指摘です。なお、素材にはこの記事の具体的なスコア数値は含まれていませんでした。
前回取り上げたQwen4-27BのPRにも、新たに読み解ける点があります。PRからは、KVキャッシュ(会話の文脈を保持し続けるためのメモリ領域)のサイズが減っていないことがうかがえます[1]。このPRは、Intel GPU向けのvLLMカーネルのリポジトリに出されたものです。著者はIntel関連やvLLMへの貢献が多い人物で、以前はQwen3.8にも取り組んでいました[1]。以前取り上げた実測では、RTX 3090×2(合計48GB)で約54万トークンの文脈が扱えました。重みは約22GBで、キャッシュに約6GBが必要でした。KVキャッシュが減らないとすれば、この「キャッシュ分」の重さは今後も残りそうです。
周辺では、Qwen3.8 27Bの公式・独立ベンチマークの分析[4]や、Artificial Analysisによる性能と価格の分析[4]、vLLMのQwen3-4B推論性能リーダーボード[5]も公開されています。27Bクラスは量子化と草案検証の組み合わせで、1枚のGPUでも実用に届きつつあります。ただし鍵はVRAMの量だけではありません。エンジン側の最適化が速度を左右します。次期Qwen4のKVキャッシュが減らないとすれば、vLLM側の工夫がさらに問われることになりそうです。
引用ソース
- Reddit Reddit r/LocalLLaMA: Qwen4-27B PR found — https://www.reddit.com/r/LocalLLaMA/comments/1xdwrak/qwen427b_pr_found/
Qwen4-27B PR found
- Web記事 記事全文: GitHub – aigc8/qwen-vllm: A high-throughput and memory-efficient … — https://github.com/aigc8/qwen-vllm
| Documentation | Blog | Paper | Discord | Twitter/X | Developer Slack |
Latest News 🔥
– [2025/01] We hosted the eighth vLLM meetup with Google Cloud! Please find the meetup slides from vLLM team here.
– [2024/12] vLLM j - Web記事 記事全文: GitHub – MiaAI-Lab/Qwen3.6-27B-NVFP4-vLLM: Production-ready vLLM … — https://github.com/MiaAI-Lab/Qwen3.6-27B-NVFP4-vLLM
A production-ready vLLM deployment wrapper for Qwen3.6-27B — an NVFP4-quantized dense model (~27B params) with DFlash speculative decoding.
This repo bundles a ready-to-run Docker container, a custom chat template, and s - Web記事 Web検索: Qwen3.8 27B (Xhigh) Intelligence, Performance & Price Analysis — https://artificialanalysis.ai/models/qwen3-8-27b
Qwen3.8 27B (Xhigh) Intelligence, Performance & Price Analysis
- Web記事 Web検索: vLLM Inference Performance on Qwen3-4B benchmark leaderboard — https://www.sota2.com/research/sota/vllm-inference-performance-on-qwen3-4b
vLLM Inference Performance on Qwen3-4B benchmark leaderboard
- Web記事 Web検索: Qwen3.8-27B Benchmarks: Official and Independent Results — https://qubrid.com/blog/qwen38-27b-benchmarks-official-and-independent-results
Qwen3.8-27B Benchmarks: Official and Independent Results
- Web記事 Web検索: Benchmarking Qwen 3.8 27B on RTX 5090 and beyond — https://www.tomshardware.com/tech-industry/artificial-intelligence/benchmarking-qwen-3-8-27b-on-rtx-5090-and-beyond-vram-capacity-alone-cant-overcome-severe-software-and-inference-engine-bottlenecks
Benchmarking Qwen 3.8 27B on RTX 5090 and beyond
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS