次期モデルの名前が、推論エンジンの修正コードから見えてきました。Redditのr/LocalLLaMAで、vLLM関連リポジトリのPRに「Qwen4-27B」の記述が見つかったと話題になっています[1]。vLLMは大規模言語モデルの推論とサービングを高速化するオープンソースのライブラリです。
見つかったPRは、vLLMのIntel GPU向けカーネル群「vllm-xpu-kernels」に出されたものです。XPUはIntel GPUの呼び名です[1]。投稿者によると、作者はIntel系リポジトリとvLLMに数多くのコントリビュートをしており、その前にはQwen3.8にも取り組んだ人物のようです。注目ポイントはKVキャッシュです。これは過去のトークンを保持して文脈を維持するメモリ領域のこと。PRからは「Qwen4-27Bでもこのサイズが減っていない」ことが読み取れるといいます[1]。次世代でもメモリ負荷は重いまま、ということになります。
なぜPRから新モデルの輪郭が見えるのか。vLLMはUCバークレー発で、2023年6月に正式リリースしました。リリース当時からFastChat-vLLM統合がLMSYSのVicunaやChatbot Arenaを支えています[2]。a16zの助成金を得て開発が進み、2024年12月にはPyTorchエコシステムに加わりました[2]。NVIDIA、AWS、Google Cloudなどとのミートアップも重ね、2024年10月には開発者向けSlackも開設されています[2]。主要な推論基盤として、新モデルの対応作業がまずここに現れる構図ができているようです。
一方、現行の27Bクラスはどこまで動くのか。tedivmの「qwen-27b-docker」は、Qwen3.8-27BをvLLMで動かすDocker構成を公開しています[3]。このリポジトリは常に最新のQwen 27Bを追いかけ、旧バージョンもタグ付きイメージで残します。モデルは実行時にダウンロードしてホスト側に保存するため、コンテナを更新しても重みを取り直さずに済みます[3]。設定にはINT4量子化が組み込まれています。これは重みを圧縮してメモリを節約する仕組みです。さらにMTP推測デコーディングも使います。複数トークンを先読みして生成を速める仕組みです。動作確認はRTX 3090×2(合計48GB VRAM)。1枚24GBのカードでも、コンテキストを抑えれば動くとされています。ディスクは重み約22GBにキャッシュ約6GBが必要です[3]。
KVキャッシュのトークン総量は約54.4万に達します[3]。1セッションなら最大54.4万トークン、2セッションなら各27.2万トークンです。作者は3同時実行で1リクエスト最大20万トークンとして運用していますが、3つとも上限を使うとOOM(メモリ不足)エラーになる可能性があると説明しています。実用上はまだ起きていないようです[3]。電力はGPUあたり250Wに制限されています。調整として、prefill(プロンプト全体を一括処理する段階)にはTritonを指定。decode(トークンを1つずつ生成する段階)にはFlashInferを割り当てています[3]。計測はbench_tps.pyで行われたと書かれていますが、素材には具体的なTPSの実測値は見つかりませんでした。
しかし、Qwen4の27Bをめぐる情報は揺れています。「AlibabaはなぜQwen4 27Bを飛ばしたのか」と題した解説ページも現れているからです[4]。一方で、Qwen4を27Bに加えMax・Flash・Plusの展開と結び付けるページもあります[4]。PR作者の名前がAlibabaのCTOか浙江ラボのディレクターと同一人物かどうかも、投稿者自身が推測にとどめています[1]。KVキャッシュが減っていないという読み[1]と合わせると、次世代でもVRAM要件は緩まない可能性があります。メモリをどう節約するかがカギになりそうです。
周辺の動きも活発です。Qwen3.8-27BをリモートGPUのvLLMでサーブする手順記事[4]や、公式と独立系のベンチマークを並べたまとめ[4]、ローカル推論ベンチマークのリポジトリ[4]が相次いで公開されています。多くは検索で見つかる段階の情報ですが、関心の高さを示しています。27BクラスはGPU2枚48GBで54万トークン級の文脈が動く規模に達しました。次モデルの輪郭は、リリース前にPRから見えてくる。そんな読み方ができる時代になったようです。
引用ソース
- Reddit Reddit r/LocalLLaMA: Qwen4-27B PR found — https://www.reddit.com/r/LocalLLaMA/comments/1xdwrak/qwen427b_pr_found/
Qwen4-27B PR found
- Web記事 記事全文: GitHub – aigc8/qwen-vllm: A high-throughput and memory-efficient … — https://github.com/aigc8/qwen-vllm
| Documentation | Blog | Paper | Discord | Twitter/X | Developer Slack |
Latest News 🔥
– [2025/01] We hosted the eighth vLLM meetup with Google Cloud! Please find the meetup slides from vLLM team here.
– [2024/12] vLLM j - Web記事 記事全文: Qwen 27B vLLM Docker – GitHub — https://github.com/tedivm/qwen-27b-docker
Docker-based vLLM serving for the latest Qwen 27B model, currently Qwen3.8-27B with Frozenlock AutoRound INT4 quant and MTP speculative decoding. This repo always tracks the newest Qwen 27B release — when a new version d
- Web記事 Web検索: Qwen 4: 27B, Max, Flash & Plus | Release Date & Benchmarks — https://stealthmodels.com/qwen-4
Qwen 4: 27B, Max, Flash & Plus | Release Date & Benchmarks
- Web記事 Web検索: Serve Qwen3.8-27B with vLLM on a Remote GPU | Yi-Chen Zhang — https://chris7462.github.io/docs/local-llm-setup/vllm
Serve Qwen3.8-27B with vLLM on a Remote GPU | Yi-Chen Zhang
- Web記事 Web検索: Qwen3.8-27B Benchmarks: Official and Independent Results — https://qubrid.com/blog/qwen38-27b-benchmarks-official-and-independent-results
Qwen3.8-27B Benchmarks: Official and Independent Results
- Web記事 Web検索: Qwen 4 27B? Why Alibaba Skipped It [2026 Benchmark] — https://www.kunalganglani.com/blog/qwen-4-27b-benchmark
Qwen 4 27B? Why Alibaba Skipped It [2026 Benchmark]
- Web記事 Web検索: Qwen3.8-27B Local Inference Benchmark – GitHub — https://github.com/pxzleo/qwen3.8-27b-local-inference-benchmark
Qwen3.8-27B Local Inference Benchmark – GitHub
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS