待っていたのは生成速度ではなく、最初の1文字でした。Strataの話題では、ローカル実行の速度だけでなく、エージェント起動の待ち時間が注目されています。Redditでは、Strataにハッカー的な修正を加え、DeepSeek V4.1のエージェントセッションの起動を20倍速くした報告が出ました[1]。XのトレンドではAIドット絵バトルが並ぶ一方、Strataの話題は起動待ちに移っています[3]。
報告者のPCはRX 9070 XT 16GB、5800X3D、64GB DDR4、PCIe 3.0 NVMeです。この構成でDeepSeek V4.1 Flashを1Mコンテキスト(100万トークン相当)、IST-DAS 1.75 bpwで動かしています。実験室では元モデルの課題平均の98.7%が出たと報告されています。生成速度は約7 tok/s(毎秒7トークン)で許容範囲でした。問題はprefill(プロンプト全体を一括処理する段階)で、OpenCodeの新しいセッションごとに約37Kトークンのシステムプロンプトとツール定義を読み直し、最初のトークンまで約100秒かかっていました[1]。
StrataはMITライセンスの推論エンジンで、MoE(専門家モデルを一部だけ使う仕組み)の疎な特性を使い、モデルをVRAM(ビデオメモリ)、RAM、SSDに分散します。GPUには毎回使う重みとよく使う専門家を置き、RAMにはあふれた専門家を置き、CPUとGPUで同時に計算します。SSDには大きなn-gram表(文章の断片を引くための表)やEngram表を置き、語ごとに数行だけ読みます[2][4][6]。DeepSeek V4.1 Flashは40層で、各層に384専門家、語ごとに6専門家を使うとされています[2][4]。
量子化(重みを圧縮してメモリを節約する仕組み)した版は複数あり、1.75 bpwは121GB、2.00 bpwは138GB、2.25 bpwは155GBです。これに111GBのn-gram表と8GBのDSpark(下書き用モデル)が加わり、ディスク容量は239〜274GB必要です[2]。公式の構成では、RTX 5070 12GBと64GB RAMで2.00 bpwは4〜6 tok/s、RTX 3060 12GBではFasterモード(6専門家のうち5つだけ使う)で9〜11 tok/sと報告されています[4][5][6]。
報告された修正の一つはKV splice(計算途中の状態を継ぎ接ぎする仕組み)です。エージェントは作業ディレクトリなどセッションごとに変わるテキストを含みますが、共通のシステムプロンプトを毎回読み直す必要はありません。すでに読んだ部分を再利用する仕組みにして、起動待ちを大きく短縮したとされています[1]。Strata 0.2.9でも、AMDの複数カードやStrix Haloのプロンプト読み込み速度が改善されています[6]。
ただし、速さの裏には落とし穴もあります。1.75 bpwはコードやエージェント作業より散文に弱く、英語散文ではperplexity(低いほど予測しやすい指標)が53%悪化したと報告されています[2]。また、r/LocalLLaMAでは、Strata関連の投稿がボット swarm(自動投稿の群れ)だという批判も出ています[7]。ローカル実行は可能になりましたが、品質、ディスク容量、信頼性の確認は欠かせません。
今回の報告が示すのは、ローカルLLMの課題はdecode(トークンを1つずつ生成する段階)の速度だけではないことです。エージェント用途では、長いシステムプロンプトを毎回読み込むprefillが体感速度を大きく左右します。Strataは個人向けPCで巨大MoEを動かす道を開きましたが、次は起動待ちと品質の両立が焦点になりそうです[1][2][6]。
引用ソース
- Reddit Reddit r/LocalLLaMA: Sorry Sam, my “quite terrible” home DRAM is at 100% now: patched Strata to make DeepSeek V4.1 agent sessions start 20× faster on a good old standard gaming GPU, no datacenter required — https://www.reddit.com/r/LocalLLaMA/comments/1xljdnj/sorry_sam_my_quite_terrible_home_dram_is_at_100/
Sorry Sam, my “quite terrible” home DRAM is at 100% now: patched Strata to make DeepSeek V4.1 agent sessions start 20× faster on a good old standard gaming GPU, no datacenter required
- Web記事 記事全文: Strata/docs/DEEPSEEK41.md at main · Niko1221/Strata · GitHub — https://github.com/Niko1221/Strata/blob/main/docs/DEEPSEEK41.md
DeepSeek-V4.1-Flash is a large mixture-of-experts model: 40 layers, 384 experts in each (6 are used for every word), and a 203 GB
n-gram table next to them. Strata runs it with its own engine, strata-dsv41 (src/dsv41, po - X Xトレンド: AIドット絵バトル — https://trends24.in/japan/
AIドット絵バトル
- Web記事 記事全文: Running DeepSeek-V4.1-Flash on Consumer GPUs: Strata’… | BestHub — https://www.besthub.dev/articles/running-deepseek-v4-1-flash-on-consumer-gpus-strata-s-tiered-offloading-fits-500gb-moe-into-12gb-vram-56cf4a70f597
Overview
DeepSeek-V4.1-Flash is a massive Mixture-of-Experts (MoE) model with 40 layers, 384 experts per layer, and only 6 experts activated per token. Its full weights exceed 500 GB, making local deployment on consumer - Web記事 記事全文: Strata: Running Massive AI Models on 64GB RAM PCs — https://book.st-hakky.com/en/news/deepseek-763b-on-64gb-ram-by-strata
Strata enables running massive models on home PCs by utilizing system RAM beyond VRAM.
The 2-bit version achieves 4-6 tokens/sec on an RTX 5070 with 64GB of RAM.
The 2-bit version requires approximately 265GB of free dis - Web記事 記事全文: 开源引擎 Strata 支持本地运行 DeepSeek-V4.1-Flash：12GB 显存加 64GB 内存实测每秒 4-6 token — https://eogee.com/article/300
2026 年 11 月 01 日——开源推理引擎 Strata 于 10 月下旬完成对 DeepSeek-V4.1-Flash 的本地运行支持，2.00bpw 量化套件体积 257GB，官方实测在 RTX 5070 12GB 显存加 64GB 内存的桌面平台上生成速度为每秒 4-6 token；10 月 31 日发布的 v0.2.9 又新增 Unsloth 1-bit 量化套件，并优化多 AMD 卡与 Strix Halo 平台的提示读
- Web記事 Web検索: Strata Bots Swarm r/LocalLLaMA — Even Open-Source LLM Circles Are … — https://www.opcnew.com/en/strata-local-llama-bot-astroturfing-zh
Strata Bots Swarm r/LocalLLaMA — Even Open-Source LLM Circles Are …
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS