[2026-11-12 更新] AIのローカル推論で定番のllama.cppについて、ベンチマークの話題を追跡します。RTX 3060の実測を報告した記事では、14Bモデルが約23トークン/秒、8Bモデルが42トークン/秒とされています。自分のセットアップを測り、量子化やコンテキスト長による差をまとめます。

続きを読む →

ジェイルブレイクしたPS5でllama.cppを動かす「PS5LM」が話題です。Vulkan経由でGPUを使うネイティブ実行によりRAMは11.4GiBへ拡大し、小型モデルで最大124トークン/秒を達成。実測値と制約、27Bモデルへの目標を整理します。

続きを読む →

テレビの下に置いたゲーム機が、そのままAIサーバーになる。そんな光景が実際に動き始めました。舞台はジャイルブレイク(本体の制限を解除する改造)済みのPS5です。ローカルで大規模言語モデルを動かす定番ソフトllama.cppを、PS5で動かすオープンソースプロジェクト。それが「PS5LM」です。開発者 […]

続きを読む