脱獄したPS5でllama.cppを動かし、GGUFモデルをGPUで推論する「PS5LM」が話題です。PS5 Slimでは0.8Bモデルが約207トークン/秒、9Bで55トークン/秒。11.4GBの共有メモリをOpenAI互換APIでLAN内から使えます。セットアップの難しさや割に合うかの議論も盛んです。

続きを読む →

脱獄したPS5でllama.cppを動かし、GGUFモデルを本体で実行する「PS5LM」が話題です。PS5 SlimのGPUでは0.8Bが約207トークン/秒、27Bも約20トークン/秒で動き、OpenAI互換APIも備えます。脱獄が前提で、Sonyの対応やコスパをめぐる議論もあります。

続きを読む →

RTX 3090でのQwen3.8 27B実測が相次いでいます。韓国語RAGベンチマークでは77.3%対76.6%でクラウド最上位のOpus 5.5と引き分け、生成速度は前世代とほぼ同等でした。誤答の多くはPDF解析や検索に由来し、ボトルネックはモデルの外側にあることが見えてきます。

続きを読む →

Qwen4は公式発表前ながら、GitHub新設アカウントによる対応コード、Qwen4-27とQwen4-maxのオープンウェイト同時公開という確認情報、仕様ページの事前出現まで現れています。一方で「確認前はうわさ」との慎重論もあり、公式発表を待つ段階です。

続きを読む →

763BのDeepSeek-V4.1-Flash-1017の量子化版で、テンソルごとに精度を変える非一様量子化の詳細が明らかになりました。GSQとRCOの組み合わせで、IQ1_MからIQ2_XSまで3サイズが公開されています。一方でllama.cppは未対応で、品質主張の検証が課題です。

続きを読む →

llama.cppのMoEオフロードについて、仕組みと速度の代償を解説する記事が相次ぎ登場しました。エキスパート重みをシステムRAMに置く手法は235Bモデルを16GB GPUで動かせますが、速度との交換です。ディスクからの先読みでは約2倍のスループット向上が報告されています。

続きを読む →

VRAMに収まらないMoEモデルをローカルで動かすllama.cppの拡張が進んでいます。層ごとにエキスパートをRAMへ置く方式に加え、必要なエキスパートをディスクから先読みする方式では約2倍のスループット向上が報告され、複数の実装が登場しています。

続きを読む →

長文LLMの推論を支えるキャッシュ基盤Strataが、vLLM+LMCache比でTTFT最大5分の1、TensorRT-LLM比3.75倍の高速化を報告。一方、ローカルエンジンStrataで人気のGyro量子化にはEXL3を上回る公開証拠がなく、同名のQ-Strata論文との混同にも注意が必要です。

続きを読む →

Google Cloudが単一の業務用エージェント「Gemini agent」を発表。仕事の計画からシステム接続まで1つのプロンプト窓で担い、GmailやDocsなどWorkspace内でも動く。顧客の約80%がAI製品を利用し、Fortune 100の約90%がGemini Enterprise利用。安全とコストの仕組みも示された。

続きを読む →

Googleの24時間型AIエージェント「Gemini Spark」の具体的な使い道と権限設計を追いました。航空券の値下がり監視や請求書フォローなど複数アプリにまたがるタスクが示され、アプリ接続は初期オフ、重要操作の前には確認を求めます。提供は米国のAI Ultra契約者向けベータで、月額99.99ドルからです。

続きを読む →