ISTA-DASLabがDeepSeek-V4.1-Flash-1017の非均一量子化「GSQ-RCO」を公開。重みを1.75〜2.25ビットまで圧縮し、Strata環境では12GB VRAMのGPU1枚での動作をうたいます。一方でllama.cpp非対応やARCベンチ未解決など、実用への課題も見えてきました。

続きを読む →

ローカルLLM推論技術Strataの論文がOSDI 26に採択され、詳細が公開されました。長文処理でvLLM+LMCache比最大5倍のTTFT短縮、TensorRT-LLM比3.75倍の高速化を達成しています。一方Redditでは、エンジンのデータ扱いへの不安の声も上がっています。

続きを読む →

125Bモデルを12GB GPUで動かす専用推論エンジンStrataに対し、llama.cpp側がAMD R9700向けPRでdecode速度の逆転を狙う動きが話題です。3060や3090の検証ではStrataが最大7倍近く速い一方、回答の再現性に課題も見つかりました。専用と汎用エンジンの競争が加速しています。

続きを読む →

ローカルでQwen3.8-Flash-Next(125B)を動かすStrataが0.2.2に更新。GPUごとにMain/Helper/Offの役割を割り当てる新機能やIntel Arc・Mac対応が加わりました。使用者はIQ4 xs量子化で「昨年の業務用モデル並み」と評しています。

続きを読む →

VRAM12GBのグラフィックボード1枚で、1250億パラメータのモデルが動く——。ローカル推論エンジン「Strata」をめぐり、そんな報告が相次いでいます。開発者Niko1221氏によるオープンソースのこのプロジェクトは、Qwen3.8-Flash-Next 125Bという大型のMoEモデルを、1 […]

続きを読む

AI実行環境Strataの更新を追跡した結果、最大40%などの高速化と、WindowsやLinuxでの不具合報告が同時に確認されました。更新履歴からは、速さと不具合が交互に現れた実態が読み解けます。更新前のバックアップと検証が重要です。

続きを読む →