ローカルLLM推論技術Strataの論文がOSDI 26に採択され、詳細が公開されました。長文処理でvLLM+LMCache比最大5倍のTTFT短縮、TensorRT-LLM比3.75倍の高速化を達成しています。一方Redditでは、エンジンのデータ扱いへの不安の声も上がっています。

続きを読む →

Claude公式ドキュメントが更新され、標準はOpus 5.5、難しい推論や長時間のエージェント作業はFable 5.1という使い分け指針が示されました。モデル能力や系列をAPIで取得でき、推論のON/OFF制御も細分化されています。比較記事は増えたものの、素材に具体的な数値はありませんでした。

続きを読む →

脱獄したPS5でllama.cppを動かす「PS5LM」がv0.9.1に更新。ログあふれによるサーバー停止やストレージ接続の不具合が直り、TV操作画面やモデル自動計画など機能も充実しました。家庭用ゲーム機がローカルAIの土台となる動きを追います。

続きを読む →

MoEモデルの専門家を必要な分だけディスクやRAMから読み込む「ストリーミング推論」の試みが相次いでいます。llama.cppでは30B級モデルが16GB GPUで動き、読み込みと計算の重ね合わせで約2倍の速度向上も報告されました。ローカル推論のメモリとの付き合い方が変わる可能性を示す話題です。

続きを読む →

RTX 5060 Ti 2枚の環境で新しいローカルLLMを18個試したところ、どれもQwen3.8-27Bを置き換えられなかったというテストが話題です。2枚構成は32GBのVRAMでMoEモデルに強く、従来型モデルでは帯域の広いRTX 3090が速いなど、構成ごとの得意分野が見えてきました。

続きを読む →

DeepSeek-V4.1-Flashの技術レポートが公開され、省メモリ推論の仕組みが明らかになりました。FP4形式のKVキャッシュでメモリ量をV4 Flash比約1/4に削減し、100万トークンの長文処理を低コストで実現。名前は「.1」でも552Bの新規事前学習モデルという点が注目です。

続きを読む →

£300のSnapdragon搭載ミニPCで、GPUを使わずローカルLLMを動かす試みが話題です。Q4量子化したMoEモデルで読み込み315トークン/秒・生成43トークン/秒を記録。NPUは読み込み、CPUは生成が得意という役割分担の知見も得られています。

続きを読む →

NVIDIAが、自律的に動くAIエージェントを安全に実行するオープンな基盤「OpenShell」を公開しました。エージェントを隔離環境で動かし、権限は外側の仕組みが判定する設計です。仕組みの詳細と、無保証など注意点まで解説します。

続きを読む →

125Bモデルを12GB GPUで動かす専用推論エンジンStrataに対し、llama.cpp側がAMD R9700向けPRでdecode速度の逆転を狙う動きが話題です。3060や3090の検証ではStrataが最大7倍近く速い一方、回答の再現性に課題も見つかりました。専用と汎用エンジンの競争が加速しています。

続きを読む →

KittenMLが重みを3値に圧縮する1.58bit方式の音声合成モデルKitten-TTS 2を公開し、CPUだけでリアルタイム推論が可能になりました。医療特化の124Bモデルも登場するなど軽量・特化路線が加速しています。本記事では各モデルの中身と実用上の留意点を整理します。

続きを読む →