続・Qwen3.8-Flash GGUF、ローカル推論の精度と速度

125BのMoEモデルを、GPUのVRAMなしでローカル推論できるかもしれない。UnslothがQwen3.8-Flash-NextのDynamic v3.1 GGUF(ローカル実行向けの圧縮ファイル形式)を公開し、DeepSWEやTerminal Bench、Aider Polyglotなどで、比較対象のGSQ-RCOより10〜15%精度が高いと主張しました[1][6]。Redditでは11月4日の更新として、新しいQFN(Qwen3.8-Flash-Next)をダウンロードする夜だと話題になっています[4]。「hacker」な話題というより、「ai」(日本語訳: 人工知能)のローカル推論の話です。

画像出典: 記事全文: unsloth/Qwen3.8-Flash-Next-GGUF · Hugging Face

Qwen3.8-Flash-Nextは、Qwen4アーキテクチャのプレビューとされる125BパラメータのMoEモデルです。MoEは、全部の重みを一度に使わず、必要な部分だけを使う仕組みです。256Kのコンテキストとマルチモーダル(画像なども扱える)推論を備え、32GB以上のRAMまたは統合メモリなら、GPUのVRAMなしで動くとうたわれています[5][6]。実行にはllama.cppやOllama、vLLM、Unsloth Desktopなどのエンジンが挙げられています[2]。

画像出典: 記事全文: Qwen3.8-Flash-Next: How to Run Locally | Unsloth Documentation

注目点は検証の量で、Unslothはベンチマークにノイズが多いとして、検証に26.2Bトークンを使用しました。内訳はDeepSWEが18.1B、Terminal Benchが5.2Bです。対象にはTerminal Bench 2.1、DeepSWE v1.1、Aider Polyglot、LiveCodeBench v6などが含まれます[5]。エージェント系は256K、一般系は128Kで測定し、生成温度1.0などの固定設定と、思考を保存する高い推論設定の両方で複数回実行しました[1][5]。

量子化の選択肢も増え、Unslothは重み成分の精度を差し替えるengramの切り替えを可能にしました。軽めのIQ4_NLは28.8GBで、KLD(モデル出力のずれを示す指標)が0.0757、高めのQ8_0は54.4GBで0.0053です。最大102.4GB、中間38.4GBなど、ディスク容量と精度の組み合わせを選べます[5]。

アーキテクチャ面では、小さなブロック単位で注目して計算を減らす仕組みのQSA、層をまたぐ情報の流れを制御するGated Residual、短い語句の組み合わせで重みを増やすN-gram Embeddingが挙げられます。長文処理の遅延を抑え、メモリ制約のある環境でパラメータを増やしやすくする狙いです[6]。設計を論じた論文も出ており、外部評価も進んでいます。また、低ビット量子化の精度とトークン効率を測る記事もあります。

ただし、数字はUnsloth自身のベンチマークで、10〜15%という差はGSQ-RCOとの比較で、自分のPCやサーバーでは同じとは限りません。発表資料では、具体的なGPU枚数・VRAM別TPS(1秒あたりのトークン数)や消費電力の実測値は確認できません。推論の速度面では、MTPという高速化機能により、Unslothで1.3〜1.7倍の高速化が示されています[6]。

Xのトレンドでは「ChatGPTImages2.6」[3]や「AI暴走」も上がっていましたが、今回の焦点はAIのローカル推論で、このバージョンの話題はAPI専用モデルの話とは違います。125B MoEのGGUFが、どの量子化で、どのエンジンで、どのくらい動くか、そこが次の検証ポイントです。

引用ソース

Reddit Reddit r/LocalLLaMA: New Qwen3.8-Flash-Next Unsloth Dynamic V3.1 GGUFs — https://www.reddit.com/r/LocalLLaMA/comments/1xnvbxn/new_qwen38flashnext_unsloth_dynamic_v31_ggufs/

New Qwen3.8-Flash-Next Unsloth Dynamic V3.1 GGUFs
Web記事 記事全文: unsloth/Qwen3.8-Flash-Next-GGUF · Introducing Qwen3.8-Flash Unsloth … — https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF/discussions/91

– Notebooks
– Google Colab
– Kaggle
– Local Apps Settings
– llama.cpp How to use unsloth/Qwen3.8-Flash-Next-GGUF with llama.cpp: Install (macOS, Linux) curl -LsSf https://llama.app/install.sh | sh
# Start a local O
X Xトレンド: ChatGPTImages2.6 — https://trends24.in/japan/

ChatGPTImages2.6
Reddit Reddit r/LocalLLaMA: Unsloth Qwen3.8-Flash-Next GGUFs V3.1 Update (November 4th 2026) — https://www.reddit.com/r/LocalLLaMA/comments/1xnuva2/unsloth_qwen38flashnext_ggufs_v31_update_november/

Unsloth Qwen3.8-Flash-Next GGUFs V3.1 Update (November 4th 2026)
Web記事 記事全文: Qwen3.8-Flash-Next: How to Run Locally | Unsloth Documentation — https://unsloth.ai/docs/models/qwen3.8-next

Qwen3.8-Flash-Next is a new open-weight, 125B parameter MoE multimodal model from Qwen. Built on the new Qwen4 architecture, it supports a 256K context window and advanced reasoning. Qwen3.8-Flash-Next outperforms Claude
Web記事 記事全文: unsloth/Qwen3.8-Flash-Next-GGUF · Hugging Face — https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF

Read our How to Run Qwen3.8-Flash-Next Guide!
Unsloth Dynamic v3.1 achieves superior accuracy & outperforms other leading quants.
– Nov 4 update: Dynamic v3.1 GGUF is here with 15% more accuracy than other frontier quant
Web記事 記事全文: Unsloth releases Dynamic v3.1 GGUFs for Qwen3.8-Flash-Next, says … — https://runtimewire.com/article/unsloth-dynamic-v31-ggufs-qwen38-flash-next

Primary source: x.com
Why it matters
Quantization affects whether a 125B-parameter model can run locally. Unsloth’s engram switching gives users a direct trade between file size and measured error.
Unsloth co-founder Dan
Web記事 Web検索: Unsloth AI on X: “We’re releasing new Qwen3.8-Flash-Next GGUFs with 15% … — https://x.com/UnslothAI/status/2118033433045991660

Unsloth AI on X: “We’re releasing new Qwen3.8-Flash-Next GGUFs with 15% …

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。