VRAM12GBのグラフィックボード1枚で、1250億パラメータのモデルが動く——。ローカル推論エンジン「Strata」をめぐり、そんな報告が相次いでいます。開発者Niko1221氏によるオープンソースのこのプロジェクトは、Qwen3.8-Flash-Next 125Bという大型のMoEモデルを、12GBのNVIDIA製GPUと64GBのシステムメモリだけで動かせると説明しています[3]。クラウドに依存しない完全ローカル動作も売りです[3]。前回の追跡記事では、仕様の大きな変更と高速化の両面を取り上げました。今回は仕組みの中身と、各地で始まった実機検証の最新報告を整理します。
鍵は、MoE(混合専門家)という構造の特性を突いた設計です。MoEモデルでは、64ある専門家ネットワークのうち、トークンごとに実際に動くのは2〜8個だけです[3]。従来の推論エンジンは、モデル全体がGPUメモリに収まらないと動かず、125Bクラスではここが壁でした。Strataは、1〜2トークン先に呼ばれる専門家を先読みします[3]。先読みした層は、CPUを介さないDMA転送でGPUへ先回りします[3]。転送には、GPUと本体をつなぐ高速な伝送路PCIeが使われます[3]。重要なアテンション(文脈をつかむ計算)部分と、使用頻度の高い専門家は12GBのVRAMに常駐します[3]。残り約90GBの休眠中の重みは、64GBのDDR5メモリから流し込みます[3]。転送はPCIe 4.0/5.0の非同期ストリーム(他の処理と並行して進める転送)で行われます[3]。GPU内の専用計算回路テンソルコアへ直行し、CPUの計算を経ないことでつっかえを防ぐとしています[3]。
実際に使った人の声も増えています。Redditのr/LocalLLaMAでは、Qwen 3.8の27Bモデルを6ビットの量子化で動かしていたユーザーが結果を報告しました[1]。量子化は、重みを圧縮してメモリを節約する仕組みです。StrataではFlash Nextを、4ビット相当まで圧縮する設定(IQ4_XS)に切り替えたといいます[1]。27B構成も十分に快適だったといい、セットアップをためらった末の導入だったと綴っています[1]。それでも結果は「かなり圧倒された」で、昨年仕事で使っていたモデル並みの手応えがあるとします[1]。Flash Nextに気持ちが傾いている、という表現です[1]。最後は「みなさんは悪い影響を与える人たちだ」と笑う一文で締められていました[1]。
開発も止まっていません。最新バージョンのv0.2.2では、Gyroという機能がIntel Arc製GPUやMacに対応し、NVIDIAでは高速化されました[2]。GPUごとに主力・補助・無効を割り当てる設定(Main/Helper/Off)も加わっています[2]。RX 6000シリーズ向けのエンジンパッケージも用意されました[2]。NVIDIAとAMD、WindowsとLinuxの両方に対応し、良いGPUなら60トークン/秒以上という目安も示されています[2]。インストール後はモデルもチャットもPCの外に出ない設計です[2]。アドレスを1つ貼るだけでCursorやClaude Codeから使えるため、コーディング支援のバックエンドとしても組みやすい構成です[2]。Strix Halo環境向けの初リリースでは、他の推論エンジンとの比較で僅差の首位を取ったと報告されました[2]。
対応モデルの幅も広がっています。公式ドキュメントの要件一覧には、4ビットと5ビットのQwen3.8-Flash-Next 125Bが並びます[3]。ほかにDeepSeek-V2-Lite 16BやMixtral 8x22B Instruct、フルコンテキストの125B〜236BクラスMoEも対応です[3]。複数の要求をまとめて捌く連続バッチ処理サーバーにも対応します[3]。ベンチマークページでは、RTX 4070 12GBと64GB DDR5という構成での速度比較が示されています[3]。
日本語圏でも実機検証が進みました。RTX 5070 Ti 16GBの検証記事は、長い文章を一度に扱える64KコンテキストやThinkingモード、27Bモデルとの比較まで踏み込んでいます[4]。RTX 5070 12GBでは、2ビット相当まで圧縮した設定での動作条件と制約が検証されました[4]。さらに12GBと16GBの両構成を、定番エンジンのllama.cppや27Bモデル、APIモデルとの比較で実測した記事も登場しています[4]。ソースコードはGitHubで公開されており、導入のハードルは下がる一方です[4]。
しかし、万能ではありません。12GB構成では2〜3ビット相当の大幅な圧縮が前提となり、速度・品質・必要メモリのバランスが改めて検証の対象になっています[4]。大幅な圧縮だけに、品質への影響がどう出るかがポイントです。開発者自身も、Hermesベンチマークではciruaiのエンジンにだけ敗れたと認めています[2]。Redditの報告にも「完璧ではない」という留保が付いていました[1]。なお、日本語の検証記事各篇の詳細な実測TPSは素材から読み取れず、速度の詳細は各記事本文の確認が必要です。
125Bクラスが12GBで動く時代の到来は、ローカルAIの景色を変えそうです。Project MayaとしてGLM-5.3-Flash(321B MoE)を自前のGPUで動かす深掘り記事も出ており[2]、扱えるモデルの上限はまだ引き上がる可能性があります。一方で、低ビット量子化での品質確保と、エンジン間の競争が次の焦点になりそうです。VRAMの壁をどう越えるかという問いへの答えが、Strataの進化とともに更新され続けています。
RECENT COMMENTS