125BのMoEモデルが、64GBのRAMがあれば自作PCで動く――そんなリリースが注目を集めています。オープンソースの推論エンジン「capy-flash」のv0.7.1が公開され、自作マシンでAIを動かすハッカーたちのコミュニティ、Redditのr/LocalLLaMAで話題になりました[1]。
capy-flashは、Qwen3.8-Flash-Next(125B MoE)とQwen3.8-27Bを、消費者向けのRTX 50カードで動かすためのエンジンです[1][2]。MoEとは「質問に応じて一部の専門家ネットワークだけを選んで計算する仕組み」で、大規模モデルを効率よく動かせます。これまでFlash-Nextを動かすには、16GB GPU2枚と96GBのRAMが必要でした[1]。v0.7のテーマは「持っているマシンで小さく始め、後から2枚目のGPUを足す」です[1]。
64GB RAM構成の仕組みが今回の核心です。MoEのエキスパートには、ISTA-DASLabが公開する約3bitの量子化版「GSQ-RCO i-quant」を再量子化せずそのまま使い、RAM上の占有量をNVFP4(NVIDIA公式の4bit形式)版の65GiBから48GiBへ減らしました[1][2]。量子化は「重みを圧縮してメモリを節約する仕組み」です。よく使うエキスパートはVRAMに置き、残りはCPU側で計算します。ピークRAMは約57GBです[1]。
実測速度はどうでしょうか。16GB GPU2枚構成では、LocalMaxxing reasoning-v1という推論ベンチで234tok/s[1]、READMEでは239tok/sと報告されています[2]。エージェント操作を再生するデコードでは182tok/sに達し、NVFP4版の172/155tok/sを上回りました[2]。GPU1枚でも121tok/sで動きます[2]。
Qwen3.8-27Bはさらに手軽です。3bitに圧縮した重みで16GB GPU1枚に収まり、174tok/s[1]。VRAM使用は13.9GBで、64kコンテキスト、ビジョン、MTP(複数トークンを先読みして速くする機能)に対応します[1]。プロンプト読み込み(prefill)は4kトークンで3,401tok/s、同時リクエスト1/2/4/8件での集計速度は175/326/560/927tok/sでした[2]。エージェント用途では、アイドル中の会話をRAMへ退避してVRAMをエキスパートのキャッシュに返す仕組みや、OpenAI互換・Anthropic互換APIも備えます[2]。
エンジン比較も読み取れます。Strataは「どんなコンシューマーハードウェアでも」を掲げる別エンジンです[5]。比較は同じマシン(RTX 5070 Ti 16GB×2、Ryzen 9 9900X、96GB DDR5)で行われています[2]。capy-flashはNVIDIA公式のNVFP4エキスパートをそのまま使います。Strataの3bitエキスパートは26%小さいものの、元のモデルとのずれを測る指標(KL)では0.144対0.070だとStrata自身が報告しており、この小ささが短いベンチでStrataが先行する理由だとREADMEは説明します[2]。デコード速度はプロンプトが0/14k/61k/118kトークンと長くなっても168/165/171/165tok/sとほぼ平坦です[2]。過去版の比較では、Strataの3bitエキスパートは生成が速い一方、同じコーディング課題で23%多くのトークンを書くため、エージェントの完了時間は同等だったともあります[4]。capy-flash側はマルチステップのコーディング課題20件をすべて解き、1,124回のツール呼び出しで形式不正は0件だったと報告されています[4]。
しかし、品質のトレードオフには注意が必要です。27Bを3bit化した構成では、GSM8Kは同等なものの、MMLU-Proは0.72と、NVFP4版の0.78に及びません[2]。圧縮の代償がスコアにはっきり出ています。一方でFlash-Nextの64GB構成は、GSM8KとMMLU-ProでNVFP4と同等の品質と報告されています[2]。対応環境も広がりました。AVX2世代のCPU(Zen 2/3やIntelクライアント)でも動き、Windows/WSL2のメモリ制限でもサーバーが起動するようになっています。空の返答を防ぐガードも全モデルでデフォルト有効です[1][2]。
動きは外にも広がっています。AGI Huntでも取り上げられ[5]、Hugging Faceにはcapy-flash用のNVFP4版モデルも置かれています[7]。Qwen3.8-Flash-Nextの構造と評価をまとめた解説ページがSemianalysisにあることも、注目モデルであることをうかがわせます[6]。同じ頃、X(旧Twitter)の日本のトレンドには「OpenAIのAI」[3]や「ClaudeDuet」という語が並んでいました。手持ちのマシンで始め、同じエンジン・同じモデルファイルのままGPUを増やせる設計は[1]、ローカルLLMの敷居を下げる一助になりそうです。MoEのエキスパートをRAMとVRAMに分散する手法は、大規模モデルのローカル実行の定番になっていくかもしれません。
RECENT COMMENTS