VRAM12GBのグラフィックボード1枚で、1250億パラメータのモデルが動く——。ローカル推論エンジン「Strata」をめぐり、そんな報告が相次いでいます。開発者Niko1221氏によるオープンソースのこのプロジェクトは、Qwen3.8-Flash-Next 125Bという大型のMoEモデルを、12GBのNVIDIA製GPUと64GBのシステムメモリだけで動かせると説明しています[3]。クラウドに依存しない完全ローカル動作も売りです[3]。前回の追跡記事では破壊的変更と高速化の両面を取り上げました。今回は仕組みの中身と、各地で始まった実機検証の最新報告を整理します。
鍵は、MoE(混合専門家)という構造の特性を突いた設計です。MoEモデルでは、64ある専門家ネットワークのうち、トークンごとに実際に動くのは2〜8個だけです[3]。従来の推論エンジンは、モデル全体がGPUメモリに収まらないと動かず、125Bクラスではここが壁でした。Strataは、1〜2トークン先に呼ばれる専門家を先読みします[3]。予測した層を、PCIe経由のDMA転送でGPUへ先回りさせておく仕組みです[3]。重要なアテンション部分と使用頻度の高い専門家は12GBのVRAMに常駐します[3]。残り約90GBの休眠中の重みは、64GBのDDR5メモリから流し込みます[3]。転送はPCIe 4.0/5.0の非同期ストリームでテンソルコアへ直行し、CPUの計算を経ないことでつっかえを防ぐとしています[3]。
実際に使った人の声も増えています。Redditのr/LocalLLaMAでは、これまでQwen 3.8の27BモデルをQ6量子化・KV8で動かしていたユーザーが、StrataでFlash NextをIQ4_XSに切り替えた結果を報告しました[1]。27B構成も十分に快適だったといい、セットアップをためらった末の導入だったと綴っています[1]。それでも結果は「かなり圧倒された」で、昨年仕事で使っていたモデル並みの手応えがあるとします[1]。Flash Nextに気持ちが傾いている、という表現です[1]。最後は「みなさんは悪い影響を与える人たちだ」と笑う一文で締められていました[1]。
開発も止まっていません。最新バージョンのv0.2.2では、Intel Arc製GPUやMacでのGyro対応、NVIDIAでのGyro高速化、GPUごとのMain/Helper/Off選択、RX 6000シリーズ向けエンジンパッケージなどが盛り込まれました[2]。NVIDIAとAMD、WindowsとLinuxの両方に対応し、良いGPUなら60トークン/秒以上という目安も示されています[2]。インストール後はモデルもチャットもPCの外に出ない設計です[2]。アドレスを1つ貼るだけでCursorやClaude Codeから使えるため、コーディング支援のバックエンドとしても組みやすい構成です[2]。Strix Halo環境向けの初リリースでは、他の推論エンジンとの比較で僅差の首位を取ったと報告されました[2]。
対応モデルの幅も広がっています。公式ドキュメントの要件一覧には、4ビットと5ビットのQwen3.8-Flash-Next 125Bが並びます[3]。ほかにDeepSeek-V2-Lite 16BやMixtral 8x22B Instruct、フルコンテキストの125B〜236BクラスMoE、連続バッチ処理サーバーも対応です[3]。ベンチマークページでは、RTX 4070 12GBと64GB DDR5という構成での速度比較が示されています[3]。日本語圏でも実機検証が進みました。RTX 5070 Ti 16GBの検証記事は、64KコンテキストやThinkingモード、27Bモデルとの比較まで踏み込んでいます[4]。RTX 5070 12GBでは、IQ2_XSでの動作条件と制約が検証されました[4]。さらに12GBと16GBの両構成を、素のllama.cppや27Bモデル、APIモデルとの比較で実測した記事も登場しています[4]。ソースコードはGitHubで公開されており、導入のハードルは下がる一方です[4]。
しかし、万能ではありません。12GB構成ではIQ2_XSやIQ3_XXSといった大幅な圧縮が前提となり、速度・品質・必要メモリのバランスが改めて検証の対象になっています[4]。大幅な圧縮だけに、品質への影響がどう出るかがポイントです。開発者自身も、Hermesベンチマークではciruaiのエンジンにだけ敗れたと認めています[2]。Redditの報告にも「完璧ではない」という留保が付いていました[1]。なお、日本語の検証記事各篇の詳細な実測TPSは、検索結果からは読み取れませんでした。素材に詳細な実測値が見つからないため、速度の詳細は各記事本文の確認が必要です。
125Bクラスが12GBで動く時代の到来は、ローカルAIの景色を変えそうです。Project MayaとしてGLM-5.3-Flash(321B MoE)を自前のGPUで動かす深掘り記事も出ており[2]、扱えるモデルの上限はまだ引き上がる可能性があります。一方で、低ビット量子化での品質確保と、エンジン間の競争が次の焦点になりそうです。VRAMの壁をどう越えるかという問いへの答えが、Strataの進化とともに更新され続けています。
RECENT COMMENTS