ジェイルブレイクしたPS5でllama.cppを動かす「PS5LM」が話題です。Vulkan経由でGPUを使うネイティブ実行によりRAMは11.4GiBへ拡大し、小型モデルで最大124トークン/秒を達成。実測値と制約、27Bモデルへの目標を整理します。

続きを読む →

RedditでQwen4がArenaに現れたとの投稿が話題になっています。一方ランキングではQwen3.8 Maxが69.7で首位、Flash-Nextとは6.9ポイントの差。本記事では伝聞レベルの新情報と、暫定スコアの正しい読み方を整理します。

続きを読む →

llama.cppにIntel B70のXMX行列エンジンを刷新するPRが投稿され、スペキュレーティブデコードの大幅改善が報告されています。30Bモデルの実測は36〜53トークン/秒が基準。一方でSYCL自作カーネルはTriton比50〜60倍遅く断念する試行もありました。

続きを読む →

ローカルLLM推論技術Strataの論文がOSDI 26に採択され、詳細が公開されました。長文処理でvLLM+LMCache比最大5倍のTTFT短縮、TensorRT-LLM比3.75倍の高速化を達成しています。一方Redditでは、エンジンのデータ扱いへの不安の声も上がっています。

続きを読む →

Claude公式ドキュメントが更新され、標準はOpus 5.5、難しい推論や長時間のエージェント作業はFable 5.1という使い分け指針が示されました。モデル能力や系列をAPIで取得でき、推論のON/OFF制御も細分化されています。比較記事は増えたものの、素材に具体的な数値はありませんでした。

続きを読む →

脱獄したPS5でllama.cppを動かす「PS5LM」がv0.9.1に更新。ログあふれによるサーバー停止やストレージ接続の不具合が直り、TV操作画面やモデル自動計画など機能も充実しました。家庭用ゲーム機がローカルAIの土台となる動きを追います。

続きを読む →

MoEモデルの専門家を必要な分だけディスクやRAMから読み込む「ストリーミング推論」の試みが相次いでいます。llama.cppでは30B級モデルが16GB GPUで動き、読み込みと計算の重ね合わせで約2倍の速度向上も報告されました。ローカル推論のメモリとの付き合い方が変わる可能性を示す話題です。

続きを読む →

RTX 5060 Ti 2枚の環境で新しいローカルLLMを18個試したところ、どれもQwen3.8-27Bを置き換えられなかったというテストが話題です。2枚構成は32GBのVRAMでMoEモデルに強く、従来型モデルでは帯域の広いRTX 3090が速いなど、構成ごとの得意分野が見えてきました。

続きを読む →

DeepSeek-V4.1-Flashの技術レポートが公開され、省メモリ推論の仕組みが明らかになりました。FP4形式のKVキャッシュでメモリ量をV4 Flash比約1/4に削減し、100万トークンの長文処理を低コストで実現。名前は「.1」でも552Bの新規事前学習モデルという点が注目です。

続きを読む →

£300のSnapdragon搭載ミニPCで、GPUを使わずローカルLLMを動かす試みが話題です。Q4量子化したMoEモデルで読み込み315トークン/秒・生成43トークン/秒を記録。NPUは読み込み、CPUは生成が得意という役割分担の知見も得られています。

続きを読む →