📌 エグゼクティブサマリージェイルブレイクしたPS5でllama.cppを動かす「PS5LM」が話題です。Vulkan経由でGPUを使うネイティブ実行によりRAMは11.4GiBへ拡大し、小型モデルで最大124トークン/秒を達成。実測値と制約、27Bモデルへの目標を整理します。 ゲームをしていない時 […]
タグ: Vulkan
続報:PS5LMがGPU推論に到達、27Bモデルを9〜21トークン/秒で動かす
テレビの下に置いたゲーム機が、そのままAIサーバーになる。そんな光景が実際に動き始めました。舞台はジャイルブレイク(本体の制限を解除する改造)済みのPS5です。ローカルで大規模言語モデルを動かす定番ソフトllama.cppを、PS5で動かすオープンソースプロジェクト。それが「PS5LM」です。開発者 […]





RECENT COMMENTS