llama.cppのMoEオフロードについて、仕組みと速度の代償を解説する記事が相次ぎ登場しました。エキスパート重みをシステムRAMに置く手法は235Bモデルを16GB GPUで動かせますが、速度との交換です。ディスクからの先読みでは約2倍のスループット向上が報告されています。

続きを読む →

VRAMに収まらないMoEモデルをローカルで動かすllama.cppの拡張が進んでいます。層ごとにエキスパートをRAMへ置く方式に加え、必要なエキスパートをディスクから先読みする方式では約2倍のスループット向上が報告され、複数の実装が登場しています。

続きを読む →

長文LLMの推論を支えるキャッシュ基盤Strataが、vLLM+LMCache比でTTFT最大5分の1、TensorRT-LLM比3.75倍の高速化を報告。一方、ローカルエンジンStrataで人気のGyro量子化にはEXL3を上回る公開証拠がなく、同名のQ-Strata論文との混同にも注意が必要です。

続きを読む →

Google Cloudが単一の業務用エージェント「Gemini agent」を発表。仕事の計画からシステム接続まで1つのプロンプト窓で担い、GmailやDocsなどWorkspace内でも動く。顧客の約80%がAI製品を利用し、Fortune 100の約90%がGemini Enterprise利用。安全とコストの仕組みも示された。

続きを読む →

Googleの24時間型AIエージェント「Gemini Spark」の具体的な使い道と権限設計を追いました。航空券の値下がり監視や請求書フォローなど複数アプリにまたがるタスクが示され、アプリ接続は初期オフ、重要操作の前には確認を求めます。提供は米国のAI Ultra契約者向けベータで、月額99.99ドルからです。

続きを読む →

ジャイルブレイクしたPS5でllama.cppを動かす「PS5LM」が、Hacker Newsで375ポイントの注目を集めています。PS5のGPUと11.4GBの共有メモリでGGUFモデルを推論し、OpenAI互換APIでClaude Codeからも使えます。0.8Bで207トークン/秒、9Bで55トークン/秒の実測がある一方、Sony対応やコスパをめぐる議論も。

続きを読む →

763BのDeepSeek-V4.1-Flash-1017を12GB GPUで動かす低ビット量子化に、第三者による再現版が登場しました。公式版は1.75〜2.25ビットの3種類、再現版は3.0ビットで画像対応や下書きモデルも含みます。記事では量子化手法の仕組みと、非公式版の制約・実測データの有無まで整理します。

続きを読む →

NVIDIAの小型モデル「Nemotron 3.5 Bolt E4B」の続報。前モデル比で品質約40%向上、競合比で出力トークン最大約80%削減と発表されました。推論のON/OFF制御やDFlashによる高速化、BF16版と4GB量子化版の配布など、ローカルエージェント向け設計を整理します。

続きを読む →

手元で動くAIエージェント「OpenClaw」の追跡続報です。導入はmacOSやWindowsで1行のコマンドから始まり、Node 26が推奨されます。チャット接続は20以上に対応し、第三者の解説資料やレビューも増えて、論点はコストとリスクへ広がっています。

続きを読む →

Nous Researchの自律エージェントHermes Agentは、経験からスキルを自作し、使用中に改良する学習ループが特徴です。内蔵ツールは70以上、実行環境は6種類で、2026年4月時点のスター数は9万5600に達しました。本記事ではその仕組みと第三者検証の動きを整理します。

続きを読む →