「数GBぶんのVRAM(GPUのメモリ)を節約する」——llama.cppに「qwen4exp」と名付けられたPRが話題になっています[1]。PR番号は#30965で、作者はsanmai氏です。手を入れたのは、Qwenの新アーキテクチャ「QSA(Qwen Sparse Attention)」のセレクション(選択)処理です。選択に使っていたマスク情報を丸ごと外し、Qwen Flash Nextで数GBの削減を果たしたと説明しています[1]。
そもそもQSAが初めて採用されたのは、2026年8月26日に発表されたQwen3.8-Flash-Nextです[2]。QwenチームはModelScopeとHugging Faceで「翌27日0時にリリース」と予告し、コミュニティをにぎわせました[2]。同モデルは「Qwen4へ向かう次世代アーキテクチャ」と紹介されています[2]。構成は、メインが125B、n-gram埋め込み(直前の2〜3トークンの並びを辞書のように再利用する仕組み)が51B、MTP(複数トークンの先読みで生成を速める仕組み)が4Bで、推論時に動くのは6Bです[2]。層は「GDN(過去の情報を内部状態に保持して処理する層)3層+QSA 1層」を12セット繰り返す48層。FFNは512エキスパートのうち10+1を選ぶMoEです[2]。
QSAの中身は、研究者のSebastian Raschka氏の解説がわかりやすいです[3]。QSAはスパースアテンション(全部ではなく、注目すべき一部だけを見て計算を減らす仕組み)の一種です。DeepSeek Sparse Attentionにヒントを得ていますが、DSAがトークン1つ単位で選ぶのに対し、QSAは4トークンを1ブロックにしてまとめて選びます[3]。学習済みのインデクサ(重要なブロックを判定する小さな機構)がブロックごとにキーを平均してスコアをつけ、高い順に最大512ブロック、つまり2,048トークン分を選びます[3]。Flash-Nextでは48層のうち36層がGDN、12層がQSAという配分です[3]。
今回のPRの中心は、kq_maskというマスクの表を外す点です。これは「どのトークンを見てよいか」を示す情報で、従来は選択の過程でVRAMに丸ごと確保されていました。選択の方法を見直せば、この表が不要になるという考え方です[1]。投稿には「これはStrataがエキスパートのキャッシュから最大限絞り出すためにやっていることの1つだ」という引用も添えられています[1]。Strataは別系統の推論エンジンです。同種のメモリ削減の工夫が、すでに実戦で使われていたことをうかがわせます。
Flash-Nextのllama.cpp対応は、すでにいくつもの工程を経ています。ハンズオン記事では、NVIDIA A100 80GBでのベンチマークや、エージェントとして動かした実ログ、途中で公開されたMTP機能の追加検証が報告されました[2]。ただし素材からは、具体的なTPS(1秒あたりの生成トークン数)の数値を読み取れませんでした。実装面では、QSAのgather(データの集約)処理をめぐる2つのPRを比べた記事[4]や、Qwen4移植のPRをマージ前に監査した記事[4][4]も出ています。今回のPRの動きは、AGI Hunt[4]やAI Briefs[4]でも速報的に取り上げられました。
一方で、QSAには設計上のトレードオフもあります。Raschka氏の解説によれば、QSAの選択はDSAより粗い索引です。関連する1トークンを選んでも、同じブロックの残り3トークンも一緒に読み込むためです[3]。また、選択の予算は最大2,048トークン分+現在の端数部分です[3]。長い文脈では、この範囲から重要な場所を絞り切れるかが鍵になりそうです。さらに、今回のPRの削減効果も「数GB」という表現にとどまり、素材にはコンテキスト長別の具体的な削減量や実測TPSは見つかりませんでした。効果の大きさは、マージ後の実測を待つ段階のようです。
Qwen4を待つこの時期に注目したいのは、モデルの性能だけでなく、実装の工夫の積み重ねです。125B級のMoEをローカルで動かすには、n-gram埋め込みをDRAM(メインメモリ)に置く構成[2]や、マスクを外す変更[1]のように、メモリをどう節約するかが速度と直結します。QSAという新構造が、研究解説・実装PR・ニュース速報の三方向から同時に追えるようになったのは、ローカル推論勢にとって追い風と言えそうです。
引用ソース
- Reddit Reddit r/LocalLLaMA: qwen4exp : build the QSA selection without the kq_mask by sanmai · Pull Request #30965 · ggml-org/llama.cpp — https://www.reddit.com/r/LocalLLaMA/comments/1xdmek0/qwen4exp_build_the_qsa_selection_without_the_kq/
qwen4exp : build the QSA selection without the kq_mask by sanmai · Pull Request #30965 · ggml-org/llama.cpp
- Web記事 記事全文: Hands-On: Qwen3.8-Flash-Next and a Glimpse into Qwen4's Design … — https://dev.to/oooocean66/hands-on-qwen38-flash-next-and-a-glimpse-into-qwen4s-design-philosophy-llamacpp-support-2p2c
Out of nowhere, on August 26, 2026, the Qwen team posted an announcement on ModelScope and Hugging Face: a new model, Qwen3.8-Flash-Next, would be released at 00:00 on August 27. The community was still buzzing over how
- Web記事 記事全文: Qwen Sparse Attention | Sebastian Raschka, PhD — https://sebastianraschka.com/llm-architecture-gallery/qwen-sparse-attention/
Qwen Sparse Attention (QSA) is a attention mechansism inspired by the sparse selection in DeepSeek Sparse Attention (DSA). Similar to DSA, QSA uses a learned indexer. However, instead of choosing (or learning to choose)
- Web記事 Web検索: Qwen3.8 QSA gather PR 28213 versus PR 28244 — Soot / Silicon — https://www.soothill.io/blog/2026/09/03/qwen38-qsa-gather-pr28213-pr28244/
Qwen3.8 QSA gather PR 28213 versus PR 28244 — Soot / Silicon
- Web記事 Web検索: Qwen4 in llama.cpp: A Pre-Merge Runtime Audit of PR #27742 — https://ramgpt.org/articles/qwen4-llama-cpp-pr-27742-pre-merge-runtime-audit/
Qwen4 in llama.cpp: A Pre-Merge Runtime Audit of PR #27742
- Web記事 Web検索: Porting Qwen4 to llama.cpp: Qwen3.8-Flash-Next Internals — https://ramgpt.org/articles/qwen3-8-flash-next-qwen4-llama-cpp-implementation-strategy/
Porting Qwen4 to llama.cpp: Qwen3.8-Flash-Next Internals
- Web記事 Web検索: llama.cpp PR drops kq_mask for QSA selection… · AGI Hunt — https://agihunt.info/en/p/1a16a17dd9fda9eb31cfbe8cd3a
llama.cpp PR drops kq_mask for QSA selection… · AGI Hunt
- Web記事 Web検索: llama.cpp PR drops kq_mask from Qwen4exp QSA selection — https://aibriefs.news/card/20a8b508-fe61-4812-8a51-0f48759fb020
llama.cpp PR drops kq_mask from Qwen4exp QSA selection
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS