巨大AIモデルを自宅のGPUで動かす挑戦に、新しい1ページが加わりました。ローカル推論の定番ツールllama.cppに、DeepSeekの「V4.1 Flash」への対応を追加するPR(コード変更の提案)#31086がam17anさんから投稿され、Redditで話題になっています[1]。投稿者は「only 763B params!(たった763Bパラメータ)」と、その大きさを強調しながら紹介しています[1]。
V4.1 Flashは、DeepSeekが公開した大規模MoE(多数の専門家ネットワークを切り替えながら計算する構造)です。解説記事によれば552Bパラメータで、causal encoder-decoder(エンコーダとデコーダを組み合わせた設計)を採用しています。KVキャッシュ(会話の文脈を保持するメモリ領域)が従来よりずっと小さく済む点も特徴です[2]。技術レポートのPDFもモデルページで公開されています[1][4]。ただし、Reddit投稿の763Bと解説記事の552Bでは数値に食い違いがあり、素材からはどちらが正しいかを確かめられません。
ローカル実行の具体的な構成を示しているのが、先行モデルV4 Flash向けのガイドです[2]。目標は、マルチGPUのクラスタを組まずに1枚のGPUで動かすことです[2]。V4 Flashは284Bの総パラメータのうち、1トークンあたり13Bだけを活性化して計算します。FP4/FP8という高圧縮の量子化(重みを圧縮してメモリを節約する仕組み)で作ったGGUF(llama.cpp用のモデルファイル形式)は約146GBです。これを96GBのVRAM(GPUに搭載されたメモリ)を持つGPU1枚で動かすため、モデルの一部をシステムメモリ側に逃がす構成が取られています[2]。
必要なハードウェアは、VRAM 96GB以上のGPUです。ガイドはRTX Pro 6000 Blackwellを挙げ、H100より低コストで96GBを確保できる点を理由にしています[2]。GPUを自前で用意しない場合は、RunPodなどのクラウドGPUポッドを使う手順もあります(LambdaやVast.aiでも同様)[2]。OSはUbuntu 22.04が推奨です[2]。
しかし、V4 Flashの手順がそのまま使えるわけではありません。V4.1 FlashはCSAとHCAという2種類のアテンションを組み合わせた構造です。アテンションとは、文章のどこに注目するかを決める仕組みのことです。さらに、FP4とFP8を混在させたスパースなエキスパート重み(全部ではなく一部の専門家だけを計算する仕組み)を持っています。このため、コミュニティのパッチやWIP(作業中)ブランチでないと正しく読み込めません[2]。ガイド自身も「V4.1 Flash用の手順と誤解しないこと」「llama.cppのリリースノートで対応を確認してから重みをダウンロードすること」と注意を促しています[2]。
ここからが現実です。llama.cppの対応はまだ作りかけで、GitHubのディスカッション「DeepSeek V4 Support (WIP)」で進捗が共有されています[2][3]。すでにGB10という環境で、出力が壊れる問題の報告が開いたまま残っています[2]。新しい「0731」チェックポイントに黙って差し替えないこと、回帰テスト(以前の動作を壊していないかの確認)を通るまで評価環境として扱うこと、という釘も刺されています[2]。
速度の実測値はどうでしょうか。素材にはdecode(トークンを1つずつ生成する段階)のTPSも、prefill(プロンプト全体を一括処理する段階)のTPSも見つかりませんでした。消費電力の数値も素材にはありません。一方で周辺は既に動き出しています。ハードウェアの必要条件を計算する記事[5]や、ベンチマークとアーキテクチャを解説する記事[6]が公開され、Hugging FaceにはGSQという量子化形式のモデル[7]も登場しています。
まとめると、V4.1 FlashはKVキャッシュが小さく済む新設計の巨大MoEです。96GB級GPU1枚とシステムメモリ逃がしの組み合わせが、現時点での現実的な構成と言えそうです[2]。ただし対応はまだWIPで、不具合報告も残っています[2][3]。コードと重みのバージョンを固定して試すのが、今の段階での安全な楽しみ方になるはずです。
引用ソース
- Reddit Reddit r/LocalLLaMA: model: DSV4.1 flash by am17an · Pull Request #31086 · ggml-org/llama.cpp — https://www.reddit.com/r/LocalLLaMA/comments/1xeqf7k/model_dsv41_flash_by_am17an_pull_request_31086/
model: DSV4.1 flash by am17an · Pull Request #31086 · ggml-org/llama.cpp
- Web記事 記事全文: Run DeepSeek V4 Flash Locally with llama.cpp (2026) — https://www.aimastery.page/guides/run-deepseek-v4-flash-locally-llamacpp
Run DeepSeek V4 Flash Locally with llama.cpp (2026)
What You’re Setting Up
DeepSeek V4 Flash is the smaller model in the V4 series — 284B total parameters and 13B active per token in the original preview, according to th - Web記事 記事全文: DeepSeek V4 Support (WIP) · ggml-org llama.cpp – GitHub — https://github.com/ggml-org/llama.cpp/discussions/22376
You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your sess
- Web記事 Web検索: PDF DeepSeek_V41_Tech_Report.pdf · deepseek-ai/DeepSeek-V4.1-Flash at main — https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf
PDF DeepSeek_V41_Tech_Report.pdf · deepseek-ai/DeepSeek-V4.1-Flash at main
- Web記事 Web検索: Can You Run DeepSeek V4.1 Flash Locally? The Honest Hardware Math — https://locallyuncensored.com/blog/run-deepseek-v4-1-flash-locally.html
Can You Run DeepSeek V4.1 Flash Locally? The Honest Hardware Math
- Web記事 Web検索: DeepSeek V4.1 Flash: Benchmarks, Capabilities, and Architecture — https://gingerlabs.ai/blog/deepseek-v4-1-flash-benchmarks-capabilities-and-architecture
DeepSeek V4.1 Flash: Benchmarks, Capabilities, and Architecture
- Web記事 Web検索: IndrasMirror/DeepSeek-V4.1-Flash-GSQ-Uncensored · Hugging Face — https://huggingface.co/IndrasMirror/DeepSeek-V4.1-Flash-GSQ-Uncensored
IndrasMirror/DeepSeek-V4.1-Flash-GSQ-Uncensored · Hugging Face
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS