フラッグシップを一時「退役」させてまで移行を進める、異例のモデルDeepSeek-V4.1-Flash。その中身を示す技術レポートが公開され、省メモリ推論の仕組みが具体的にわかるようになりました[1]。9月10日にリリースされた重みはMITライセンスで公開されており、誰でもダウンロードして試せます[2]。
まず全体像です。V4.1 Flashは45Tトークンで事前学習した552Bのモデルです。コンテキストは100万トークン、最大出力は384Kを維持しました[2]。名前の「.1」は小さな改良版のように聞こえます。ところが実際は、V4 Flash(284BのMoE、1トークンあたり13Bが稼働)の改良版ではなく、まったくの新規事前学習モデルです[2]。
推論の土台を変えたのが、CED(Causal Encoder-Decoder)という新構造です。エンコーダ・デコーダとは、入力を読む係と出力を書く係に役割を分ける構造のこと。出力を書く係のKVキャッシュは、読む係の最終状態から作られます[2]。KVキャッシュとは、推論中に処理途中の情報を保持しておくメモリ領域です。この構造では、入力を読む段階で8B、答えを生成する段階で16Bだけが動きます[2]。長い文書を読み込ませる処理で有利な設計です。層の使い方にも工夫があります。CSA2と呼ばれる仕組みでは、層ごとにKVを全部持つモード、並べ替えて参照するモード、使い回すモードの3つを切り替えます[2]。深い層では、注目すべき場所を先に絞り込むインデクサで候補を限定し、計算量を抑えます[2]。
もう一つの柱が、KVキャッシュの徹底圧縮です。FP4キャッシュは、数値を4ビットで表す極小の形式を使います。16チャネルごとに1つのスケール値を置き、精度の落ちすぎを防ぎます。量子化とは、値を圧縮してメモリを節約する仕組みのことですね。この結果、KVキャッシュが占めるGPUメモリ(HBM)は、V4 Flash比で約1/4になりました。初代V1と比べると、なんと約1/437です[2]。100万トークンの長文を現実的なコストで扱える下地になったようです。さらにSWA Bounded Replayでは、直近の一定範囲だけを見る方式で失われた分のKVを、最後のウィンドウから再構築します。これにより永続ストレージは約1/8に削減されました[2]。KVキャッシュ圧縮の限界に挑む、と題した技術論文もarXivで公開されています[3]。
使い勝手も整っています。Hugging Faceのモデルページでは、Transformersでのパイプライン利用、vLLMやSGLangでのサーバ起動、Dockerでの実行まで手順が公開されました[1]。vLLMで立てたサーバは、OpenAI互換のAPIで呼び出せます[1]。画像とテキストを一緒に入力できる構成で、画像に描かれた動物を当てさせるサンプルコードも添えられています[1]。
しかし、移行には落とし穴もあります。解説記事は「新しいベースモデルとして扱い、V4向けのワークフローを再テストせよ」と助言しています[2]。改良版ではなく別物なので、これまでの運用がそのまま動く保証はないのです。さらに9月14日04:00(UTC)以降は、deepseek-v4-pro宛ての呼び出しが、Proの投入までFlash価格のFlashで処理されます[2]。旧Flashとその画像対応実験版という2つのエイリアスも退役し、V4.1 Flashに統合されました[2]。上位モデルのユーザーは、当面は実質的にFlashに切り替わるわけです。一方でV4.1 Proは、仕様カードも公開日も示されていません[2]。
周辺の動きも早いです。海外では性能検証と開発者の反応をまとめた技術解説が翌日に出て[3]、ベンチマークや価格、コンテキスト長を一覧できる集計サイトも作られました[6]。日本語でも「性能×効率×価格」の三重革新と国内での活用展望を解説する記事が登場しています[3]。
名前は地味な「.1」でも、中身はKVキャッシュ圧縮で長文推論のコスト構造を変える試みです。フラッグシップを一時退役させてまで新構造へ移行する判断に、DeepSeekの本気度が表れています。今後の見どころは、詳細未公開のV4.1 Proが、この圧縮技術をどこまで上回るかです。
RECENT COMMENTS