「サーバーが要るはずの125Bモデルが、ゲーム用PCで動いている」。ローカル推論ツールStrataをめぐる話題は、いまだ収まる気配がありません。前回記事では、少ないVRAMで125Bを動かす仕組みと実機検証の様子をお伝えしました。その後Strataは0.2.2へ更新され、GPUの使い方を変える新機能が加わっています[2]。さらに、実際に乗り換えたユーザーの生の声も出てきました[1]。
まず軽くおさらいします。Strataは、125BパラメータのQwen3.8-Flash-Nextを通常のPCで動かすための無料のオープンソースツールです。NVIDIA、AMD、IntelのGPUと、Windows、Linux、Macに対応しています。OpenAIとAnthropicのAPI互換を持つ点も大きいです。Claude CodeやCodex CLI、OpenCodeといったコーディングエージェントから、そのまま接続できます。画像読み取りは標準で有効。MITライセンスでテレメトリもなく、チャットやファイルがPCの外に出ない設計です[2]。
実使用者の声として、Reddit r/LocalLLaMAへの投稿が参考になります。投稿者は長いこと我慢していたものの、ついにStrataをセットアップしたといいます。それまで使っていたのは、ひと回り小さい27BのモデルをQ6という量子化設定で動かす構成でした。量子化とは、重みを圧縮してメモリを節約する仕組みです。以前の環境も「とてもよく働いてくれた」と述べた上での乗り換えです。Flash NextをIQ4 xsという型に切り替えたところ、「かなり衝撃を受けた」と振り返ります。出力は完璧ではないものの、昨年業務で使っていた、ほぼ何にでも使えたモデルと同程度に感じられるという評価です。締めくくりは「皆さんは悪い影響を与える」という、コミュニティへの半分冗談の感謝でした[1]。
0.2.2の目玉は、GPUごとに「Main / Helper / Off」の役割を割り当てる仕組みです。Mainは推論の最後の層と、下書きトークンを作る層、各ウィンドウの最終チェックを担います。Helperは層の一部と、MoEのエキスパート用キャッシュを分担します。Offのカードは一切処理を受け持ちません。メモリ8GB以下のカードは、最初からOffで始まります[3]。全カードをOffにすると、サーバーは3秒で停止します[3]。2枚のRTX A4000での確認では、MainとHelperの分担が想定どおりに働いたと報告されています[3]。
マルチGPUは、同じメーカーのカード2〜3枚でモデルを共有する方式です。NVIDIAとAMDをまたぐ分割は行われません[2]。同じ仕様の2枚構成では、番号の小さいカードがMainになるよう順序も整理されました[3]。対応ハードウェアも広がっています。同ツール固有の機能Gyroが、Intel ArcカードとMacで使えるようになりました。NVIDIAではGyroが高速化され、RX 6000シリーズ向けのエンジンパッケージも追加されています[3]。デモ動画では、RTX 5070一枚・128Kコンテキストで動く様子が示されました。一発のプロンプトから、ボクセルの塔の庭園が生成されています[2]。
必要な環境は、RAMとVRAMの合計で32GBからです。MacやRyzen AI Maxでは、ユニファイドメモリがその分を担います。32GBのPCに12〜16GBのカードならCoderが動き、全サイズを動かすには64GBのRAMが目安になります。メモリを増やせば、より大きなモデルか、より速い動作と引き換えになる仕組みです。ディスクは約80GBで、SSDなら初回起動が速くなります[2]。なおMacのエンジンは、GPUカードがなくても動作するようです[3]。
しかし、素材には実測のTPS(1秒あたりの生成トークン数)や消費電力の数値は見つかりませんでした。リリースノートは、答えの速度の定義を一つにまとめたと説明します。ただし具体的な速度は、各環境で確かめるしかありません[3]。Docker用の指定や、AMD・Intelカードでの役割機能も「未テスト」と明記されており、検証はまだ途上です[3]。もう一つ厄介なのが名前の衝突です。「Strata」で検索すると、AIとは無関係の同名サービスが並びます。自己管理型IRAのSTRATA Trust Company[4]、3DモデリングソフトのStrata[4]、別サービスのログインページ[6]です。調べものの時に混同しやすい点は、少し注意が要りそうです。
125Bクラスを家庭に収める試みは、単一GPUでの工夫から、複数GPUの役割分担へと進んでいます。更新はターミナルのコマンド一つか、アプリの設定画面から行えます[3]。実測値の蓄積が次の課題と思われますが、32GB級の環境で選択肢が広がったこと自体は確かな進展です。ローカル推論の現在地を知る素材として、0.2.2の動向は注目に値します。
RECENT COMMENTS