763Bの巨大モデルが、12GBのGPU1枚で動く。そんな低ビット量子化版DeepSeekに、第三者による再現版が登場しました。オーストリアの研究ラボISTA-DASLabが公開したDeepSeek-V4.1-Flash-1017の量子化GGUFは、以前この記事で取り上げた1.75ビット量子化の話題です。その後、有志が同じ手法を独自に再現し、画像入力まで扱える構成を含む版を公開しました。巨大モデルのローカル実行をめぐる動きが、一段と進んだ形です[1][3]。
モデル本体は763.2BパラメータのスパースMoEです。1層に384個のエキスパート(専門に特化した小さなネットワーク)を持ち、1トークンあたり6個だけを稼働させます。コンテキストは100万トークンに及びます[1][2]。元の重みは、全トークンで共有される部分がFP8、エキスパート側がFP4という精度で配布されています[1]。
今回の焦点は、量子化(重みを圧縮してメモリを節約する仕組み)のやり方です。DASLabの手法は非一様量子化で、すべての層に同じ精度を当てません。各テンソル(重みのひとかたまり)の敏感さを、勾配を使った探索で評価します。その上で、合計サイズの予算内で精度を割り振るのがRCOです[2]。低ビットのスカラー量子化を学習後に正確に行うのがGSQです[1][2]。エキスパートがパラメータの大半を占めるため、探索の自由度もそこに集中します。ただしGGUF形式の制約で、精度の割り振りはエキスパート単位ではなく層単位になります[2]。
公開されたのは3種類で、重み1つあたりのビット数(ビット幅)は1.75、2.00、2.25です。もっとも強く圧縮した版の型名はIQ1_Mで、このビット幅は551.9Bのバックボーン部分の平均値です。ファイルサイズは120.7〜155.2GBになります[1][2]。もうひとつの鍵がEngramです。入力に応じて知識を引き出す巨大な参照テーブルで、196.6Bパラメータあります[3]。こちらは4.50ビットで保存され、全ビルド共通の1ファイル(110.6GB)を一度だけダウンロードすればよく、複数の版を試しても再ダウンロードは不要です[1][2]。トークンごとに1行だけ読むため、ディスク上に置いたまま必要な部分だけを参照できます[1]。実行エンジンStrataを使えば、いずれの版も12GB VRAMのGPU1枚で動くと説明されています[1][2]。このリリースは海外のAIニュースサイトでも取り上げられました。
そこへ、第三者による再現版が加わりました。有志のpfeifferjが、公開されたGSQとRCOの手法で独自に量子化を作成したものです。こちらはバックボーンを3.0ビットに設定し、厳密な合計サイズの予算内で各層の精度を割り振っています[3]。推論を速めるスペキュレーティブデコーディング(小さな下書きモデルが候補を出し、本体が検証する仕組み)用のDSparkや、画像入力を扱うビジョンプロジェクター(画像をモデルが処理できる形に変換する部分)まで同梱しました[3]。元のFP8/FP4チェックポイント510.3GBを、426.1GBのパッケージにまとめています[3]。ファイルは415.76GBで、Engram(208.90GB)はホストメモリ(CPU側のメモリ)に置く構成を想定し、残り206.86GBがバックボーン等という内訳です[3]。ライセンスはMITで、画像とテキストを入力できるマルチモーダルモデルとして登録されています[3]。
ただし、この再現版は非公式です。作成者自身が「DASLabのリリースではなく、両手法の著者の承認も受けていない」と明記しています[3]。Engramのテーブルは探索の対象から外され、8ビット精度で固定されました[3]。KVキャッシュ(会話履歴を保持するメモリ領域)やランタイムバッファ、下書きモデル、ビジョンプロジェクター分のメモリも別途必要です[3]。また、12GB GPUで動くといってもEngramはディスク参照が前提のため、ストレージの速さが体感を左右するようです。さらに、今回の素材には実際の推論速度(TPS)の実測値は見つかりませんでした。ベンチマークや価格をまとめる各種サイトには本モデルのページが立っていますが[4][5][6][7][8]、素材からは詳細な比較数値を確認できませんでした。
研究ラボが公開した圧縮手法を、コミュニティがすでに再現し、画像対応や下書きモデルまで拡張した流れは、巨大モデルを自宅のGPUで動かす動きが本格的な段階に入ったことを示しています。次に注目したいのは、この構成での実測速度と品質の報告です。
引用ソース
- Reddit Reddit r/LocalLLaMA: [Release] ISTA GSQ-RCO GGUFs for DeepSeek-V4.1-Flash-1017 — https://www.reddit.com/r/LocalLLaMA/comments/1xe2wg8/release_ista_gsqrco_ggufs_for_deepseekv41flash1017/
[Release] ISTA GSQ-RCO GGUFs for DeepSeek-V4.1-Flash-1017
- Web記事 記事全文: DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF – Hugging Face — https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF
Non-uniform GGUF quantizations of a 763B-parameter, 384-expert MoE, produced with GSQ and RCO.
This repository provides GGUF quantizations of DeepSeek-V4.1-Flash-1017 at three sizes: IQ1_M (1.75 bits per weight), IQ2_XXS - Web記事 記事全文: DeepSeek-V4.1-Flash-GSQ-RCO-GGUF – Hugging Face — https://huggingface.co/pfeifferj/DeepSeek-V4.1-Flash-GSQ-RCO-GGUF/blob/main/README.md
Download README.md from pfeifferj/DeepSeek-V4.1-Flash-GSQ-RCO-GGUF: direct link, hf CLI and curl.
– Browser
– Download file 7.3 kB
– https://huggingface.co/pfeifferj/DeepSeek-V4.1-Flash-GSQ-RCO-GGUF/resolve/main/README.m - Web記事 Web検索: DeepSeek V4.1 Flash 1017 (max) – Intelligence, Performance & Price … — https://artificialanalysis.ai/models/deepseek-v4-1-flash-1017
DeepSeek V4.1 Flash 1017 (max) – Intelligence, Performance & Price …
- Web記事 Web検索: DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF: Text-to-Text model — overview … — https://www.aimodels.fyi/models/huggingFace/deepseek-v4.1-flash-1017-gsq-rco-gguf-ista-daslab
DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF: Text-to-Text model — overview …
- Web記事 Web検索: DeepSeek-V4.1-Flash-1017 Review: Benchmarks, Price & Coding (2026) — https://blog.buildfastwithai.com/deepseek-v4-1-flash-1017-review
DeepSeek-V4.1-Flash-1017 Review: Benchmarks, Price & Coding (2026)
- Web記事 Web検索: DeepSeek V4.1 Flash 1017 Benchmark Scores & Evals | BenchmarkList — https://benchmarklist.com/models/deepseek-deepseek-v4.1-flash-1017/
DeepSeek V4.1 Flash 1017 Benchmark Scores & Evals | BenchmarkList
- Web記事 Web検索: DeepSeek-V4.1-Flash-1017 Benchmarks, Pricing & Context Window — https://llm-stats.com/models/deepseek-v4.1-flash-1017
DeepSeek-V4.1-Flash-1017 Benchmarks, Pricing & Context Window
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS