ローカル推論エンジンStrata関連で、エキスパートをRAMに常駐させずNVMe SSDから直接読む新方式が話題に。RTX 4090とRAM 8GBで125Bモデルが約20 tok/sで動き、262kトークンでも速度はほぼ落ちませんでした。一方、Strata本体の0.2.6は大RAM環境向けに高速化し、環境別の道筋が見えてきました。

続きを読む →

ISTA-DASLabの2bit量子化版DeepSeek-V4.1-Flashは、テンソルごとに精度を変える非一様量子化で763Bモデルを12GB GPU1枚で動かします。MLXへの移植も登場した一方、ベンチマーク飽和で劣化が見えず、KLDなどでの検証が課題です。

続きを読む →

RAMより大きいMoEモデルをスマホやノートで動かすllama.cpp拡張が登場しました。既存のオフロード手法は、35Bのうち約3Bだけを稼働させる構造を活かし、8GBのGPUでも17.7GBのモデルを動かせています。新ツールの位置づけと実検証の数値を整理します。

続きを読む →

2020年発売のRTX 3090を、スペックと価格の面から2025年GPUと比較しました。FP32は35.58 TFLOPS、VRAMは24GB。同性能帯とされるRTX 5070は549ドルと約3分の1の価格ですが、VRAMは12GBで、24GBは1599ドルのRTX 4090だけです。

続きを読む →

ローカル推論エンジンStrataで、16GB VRAMのGPUと55GBのRAMだけでQwen3.8-Flash-Nextが最大250 tok/sで動く実測が報告されました。一方、SSDから直接読み込む新方式は8GBのRAMで約20 tok/sを実現しています。速度と省メモリ、どちらを取るか選択肢が広がりました。

続きを読む →

RTX 3090でのローカルAI運用がさらに具体化しました。1.7B〜35Bの59モデルの実測をまとめたガイドでは、32BモデルをGPUだけで動かし、速度は毎秒17〜90トークンに達しています。リバースエンジニアリング用途でのローカル需要も広がりました。

続きを読む →

Qwen4の先行プレビューQwen3.8-Flash-Nextで、ローカル実行の具体的な報告が相次いでいます。総125B・活性約6BのMoE構成を生かし、8GB GPU+24GB RAMで毎秒70トークンなど実測が共有されました。一方で推論系のベンチマークでは苦戦する項目も見えています。

続きを読む →

llama.cppの高速化フォークik_llama.cpp関連の動きが相次いでいます。MoE最適化を進めるフォークは6GBのRTX 2060で生成45〜48トークン/秒、28Kコンテキストでも37トークン/秒を報告。フォークが先行した機能や利用上の注意点、本体統合を見送る理由まで整理します。

続きを読む →

llama.cppのMoEオフロードについて、仕組みと速度の代償を解説する記事が相次ぎ登場しました。エキスパート重みをシステムRAMに置く手法は235Bモデルを16GB GPUで動かせますが、速度との交換です。ディスクからの先読みでは約2倍のスループット向上が報告されています。

続きを読む →

VRAMに収まらないMoEモデルをローカルで動かすllama.cppの拡張が進んでいます。層ごとにエキスパートをRAMへ置く方式に加え、必要なエキスパートをディスクから先読みする方式では約2倍のスループット向上が報告され、複数の実装が登場しています。

続きを読む →