16GBのVRAMしかないGPU1枚と、システムメモリ55GBだけで、125B級の大規模モデルが最大250 tok/sで動いた——そんな実測レポートが、ローカル推論エンジン「Strata」で話題になっています[1]。以前取り上げた「128GB RAMで79 tok/s」の実測から、さらに軽い構成での検証が進んでいます。
レポートはRedditのr/LocalLLaMAへの投稿で、Strata/Basaltの表記で計測されています[1]。構成はRTX 5080(16GB VRAM)、Core Ultra 9 285K、62GBのDDR5-6800メモリ、同時実行数1です[1]。モデルはQwen3.8-Flash-Nextを、IQ3_Sという圧縮の強い量子化(重みを圧縮してメモリを節約する仕組み)で読み込みました[1]。コンテキスト長は262Kで、KVキャッシュ(会話の履歴を保持するメモリ領域)はint8で圧縮して保持します。実働時のVRAM使用量は15.7GB、エンジン側のRAM使用は54.1GBでした[1]。
結果の数値がこの投稿の見どころです。コーディングエージェントの実働セッション(opencodeで103リクエスト、最大130Kコンテキスト)では、prefill(プロンプト全体を一括処理する段階)が平均5,011 tok/sでした[1]。decode(トークンを1つずつ生成する段階)は平均153.0 tok/s、ピーク(最も良い1秒)は262 tok/sに達しました[1]。15K〜207Kとプロンプト長を変えた計測でも、prefill平均5,475 tok/s・ピーク5,662 tok/s、decode平均154.9 tok/sと安定しています[1]。入力トークンの99.5%はプロンプトキャッシュ(一度読み込んだ入力を再利用する仕組み)で賄え、最初のトークンまでの時間の中央値は0.2秒です[1]。
Strataは無料で公開されているオープンソースの推論エンジンです。デスクトップアプリとターミナルの両方から使え、メモリに収まらない重みはSSDから読み込むため、空きディスク容量は多めに必要です[2]。対応はNVIDIA RTX 30/40/50シリーズ(Windows/Linux)と、AMD Radeon AI PRO R9700(Linux)です[2]。Claude CodeやCodex CLI、OpenCodeといったコーディングツールとの接続も案内されています[2]。
エンジンの更新も続いています。最新の0.2.5ではDeepSeek V4.1-Flashがアプリに搭載され、速度と品質を選べる「Speed」設定が加わりました。モデル内部の専門家ネットワーク(エキスパート)を6つのうち5つだけ使うFasterモードでは、RTX 5070でdecodeが16%高速化しています[4]。メモリをGPUと共有するStrix Haloでは、decodeが11〜13%、prefillが5〜7%速くなりました[4]。MI325Xでは品質の差は出なかったと報告されています[4]。ただしアプリ版のDeepSeekはコンテキストが8Kに固定されます[4]。さらに、エキスパートをRAMに保持する上限(従来は48GB)が撤廃され、251GB RAMのR9700環境では、強く圧縮した2.00bpw(重み1つあたりのビット数)の設定で12.6〜21.4 tok/sという実測も公開されています[4]。
一方で、Strataの方式には大きな前提があります。Lean-QwenFlashの投稿者によれば、Strataのような現在の主流構成は、2万4千個のエキスパートをすべてシステムRAM(約48〜64GB)に固定し、キャッシュに載らなかった分をCPUで処理するといいます[3]。ハイスペック機では快適でも、RAMが少ないノートPCでは荷が重いのが実情です[3]。
そこで登場したのが、別アプローチの「Lean-QwenFlash」です。必要な部分だけをNVMe SSDから直接読み込む方式で、16GB VRAMとわずか8GBのRAMで動作します[3]。重みは約3ビットに圧縮し、KVキャッシュは4ビット相当という設定です[3]。RTX 4090(割り当てRAMを8GBに制限)の実測では、8Kの短い文脈で文章が28〜33 tok/s、コードで19〜22 tok/sでした[3]。100K文脈で20.8 tok/s、全長262K文脈でも20.0 tok/sのdecodeを維持し、prefillは約1,080〜1,627 tok/sです[3]。速度はStrataの実測の7分の1以下ですが、構成が違うため単純比較はできません。それでも必要なRAMは桁違いに少なく、ヒントになったのはGLM-5.3を驚くほど低いメモリで動かしていた別プロジェクトの設計だったといいます[3]。投稿にはRTX 3080ノートでの結果も添えられています[3]。
同じ125B級モデルのローカル実行でも、速度を優先するならStrata、メモリを削るならSSD直読み方式と、選択肢がはっきり分かれてきました。大規模MoEを普通のPCで動かす挑戦は、ハイスペック機だけのものではなくなりそうです。
引用ソース
- Reddit Reddit r/LocalLLaMA: [Benchmark] Strata/Basalt runs Qwen3.8 Flash Next IQ3_S with 16GB VRAM and 55GB RAM with up to 250 tok/s generation and 5,600 tok/s prompt processing (5080, Concurrency 1) — https://www.reddit.com/r/LocalLLaMA/comments/1xesda1/benchmark_stratabasalt_runs_qwen38_flash_next_iq3/
[Benchmark] Strata/Basalt runs Qwen3.8 Flash Next IQ3_S with 16GB VRAM and 55GB RAM with up to 250 tok/s generation and 5,600 tok/s prompt processing (5080, Concurrency 1)
- Web記事 記事全文: GitHub – Niko1221/Strata: Qwen3.8-Flash-Next on any consumer hardware … — https://github.com/Niko1221/Strata
Chat, code and work with images, locally.
Models · Install · Hardware · Tools · Help · Support
English · 简体中文 · 日本語 · Deutsch · Français · Español · Português
Free, open source, and yours to run. Use Strata on your deskt - Reddit Reddit r/LocalLLaMA: Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading — https://www.reddit.com/r/LocalLLaMA/comments/1xev6bo/leanqwenflash_qwen38flashnext_125b_running_at_20/
Lean-QwenFlash: Qwen3.8-Flash-Next (125B) running at ~20 tok/s on 16gb vram and 8gb ram via direct nvme SSD offloading
- Web記事 記事全文: Releases · Niko1221/Strata – GitHub — https://github.com/Niko1221/Strata/releases
Releases: Niko1221/Strata
Release list
Strata 0.2.5
Strata 0.2.5: one installer, DeepSeek in the app, a faster DeepSeek, and a long list of fixes
The app and the Terminal are 0.2.5. Every engine package (Qwen and DeepSee
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS