設計図が先に出るという珍しい順番で、Alibaba の Qwen 部門は、Qwen4 の本体が学習中の間に、アーキテクチャの青写真だけを公開したとされています[1]。AI 開発では、モデルの重みより先に「どう動かすか」が読めるのは大きいです。11 月上旬の発表時期や、100 万トークンのコンテキストの既定値、推論段階を選べる設定も示唆されています[1]。
その中心にあるのが Qwen3.8-Flash-Next で、Flash 系の試作と見られるこのモデルは、Qwen4 の設計図として 125B のスパース MoE を示しています[1]。MoE は専門家ネットワークを複数用意し、毎回すべてを使わない設計です。1 トークンあたりのアクティブパラメータは 6B とされています[1]。この青写真が Qwen4 の本体完成より先に出ている点が特徴です[1]。
注目点は、計算とメモリを切り離す工夫です。51B の Parameter-Free Lookup Embedding を DDR4 メモリに退避し、入力系列の参照をホスト RAM に任せる方向です[1]。Parameter-Free Lookup Embedding は、学習しない参照表のような仕組みと説明されています[1]。これにより、コンシューマ機で 21 tokens/sec（TPS）が出たとされています[1]。ローカル推論では、GPU の VRAM だけでなく、メモリ帯域が効いてきます。
学習面では、Recursive Self-Improvement が Qwen4-Max、Plus、Flash、27B の 4 階層で重点的に使われているとされています[1]。Recursive Self-Improvement は、自分の出力を材料に改善を繰り返す学習です。Muon optimizer も名前が上がっています[1]。Qwen3.8 Max では 30 日間のベースライン試験で、ベンチマーク指数が 40 から 45 に上がったとされています[1]。さらに、Kalmia という canary 名のチェックポイントが評価アリーナで追跡され、クローズドモデルに並ぶ、あるいは上回る結果もあったようです[1]。評価アリーナは、人間が優劣を判定する比較の場です[1]。ハッカー的な目利きが、公開前の気配を拾っている形です。
リーク情報では、ModelScope と Hugging Face の試験ノードに、Qwen4-Preview-Base や Qwen4-72B-Chat の痕跡が出たとされています[2]。公開の狙いは二系統で、クラウド向けの Qwen4 Max と、open-weight（重みを公開する形）の 7B、14B、32B、72B MoE です[2]。内部評価では、Qwen4 Max が SWE-bench Verified で 78.6%、GPT-6 Sol が 68.8%、Claude Sonnet 5.5 が 76.2% とされています[2]。多言語評価は 120 言語に及ぶとされています[2]。Qiandao Lake クラスタで最終負荷試験が進み、2026 年 11 月の一般公開が想定されています[2]。
ただし、話題の中心である Qwen4 本体の量子化版や必要 VRAM は、発表資料では明示されていません。現在のところ、ローカルで動かせる範囲は、プレビューの 125B MoE、6B active、51B PLE の DDR4 オフロード、21 tokens/sec までです[1]。Qwen4 Max はクラウド向けとされ、ローカル実行の見通しも発表資料では確認できません[2]。open-weight の 72B なども、推論セッションの構成や対応エンジンはまだ読めません。27B はローカル向けの候補として注目されますが、量子化版や必要 VRAM の詳細は発表資料では明らかにされていません[1]。GPU 枚数や PCIe 分担の詳細も、同資料では示されていません[1]。llama.cpp や vLLM などの対応状況も、現在のところ確認できません[1][2]。
つまり Qwen4 の話題は、単なる大型モデルの発表ではなく、open-weight の作り方が変わっている点にあります。重みをすべて載せるのではなく、参照表をメモリに退避し、推論段階を調整する方向です[1]。クラウドの Max とローカル向けの階層が分かれるなら、ユーザーは「どの階層を、どのメモリで、どの速度で回すか」を見ることになりそうです[2]。
引用ソース
- Web記事 記事全文: Qwen 4 Deep Dive: Architecture and Benchmarks – kie.ai — https://kie.ai/blog/qwen-4-architecture-shift-open-weight-engineering
TLDRAnalyze Qwen 4 architecture signals, memory offloading, RSI training data, and Arena testing under the Kalmia canary.
What the Qwen 4 Architecture Shift Means for Open-Weight Engineering
Not as a sudden consumer roll - Web記事 記事全文: Qwen 4 Coming Soon: Leaks, Release Date, Benchmarks & Architecture — https://aiintoai.vercel.app/article/alibaba-qwen-4-release-date-leaks-benchmarks-architecture-report
Research
Qwen 4 Coming Soon: Alibaba Leaks, Release Timeline, Architecture, and Open-Weight Benchmarks
A complete technical deep dive into Alibaba’s upcoming Qwen 4 generation. Leaked ModelScope staging repositories, 1.2
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS