続報：PS5LMはGPU推論へ、9Bモデルで毎秒55トークン

リビングのゲーム機が、そのままAIサーバーになる。そんな試みが一段階進みました。PlayStation 5を脱獄(メーカーの制限を解く改造)し、llama.cppを動かす試みが「PS5LM」です。llama.cppは、ローカルで大規模言語モデルを動かす定番ソフトです。Hacker Newsでは375ポイント・87コメントを集め、大きな注目を浴びています[1]。前回の追跡記事では、ペイロード(脱獄後に読み込む追加プログラム)の容量上限1.6GBと、CPU推論の遅さという壁を追いました。今回は、その壁のその後です。

開発者はMert Cobanovさんで、コードはGitHubで公開されています[5]。導入には、ファームウェア7.00〜13.60の脱獄済みPS5が条件です。Payload Managerやelfldrといったツールでペイロードを読み込みます。etaHENやkstuff-liteなどのホームブリュー(非公式ソフト)のインストールも必要です[2][4]。起動すると、PS5のブラウザにモデルライブラリが開きます。モデルのダウンロード・実行・チャットまで、コンソールだけで完結します。文字入力はコントローラーのDualSenseで行います[2]。同じLAN内なら、スマホやPCのブラウザからもライブラリを開けます。チャットはポート8081で、OpenAI互換APIとして応答します[2]。FTPで所定のフォルダにGGUFファイル(llama.cpp向けのモデルファイル形式)を置けば、それも一覧に現れます[2]。

最大の進展は、推論の主役がCPUからGPUへ移ったことです。GPUを動かす標準的な仕組みVulkan経由で、PS5のGPUを使うようになりました。GGUFモデルをLAN上の端末に提供します[4]。実測値を見ると、PS5 SlimではQwen 3.5の0.8Bモデルが毎秒約207トークンを出しました。これは4bitで圧縮する形式(Q4_K_M)を使った数値です。こうした圧縮を量子化(重みを圧縮してメモリを節約する仕組み)と呼びます。9Bモデルは毎秒55トークンです。27Bモデルは、2bit級の量子化形式(UD-Q2_K_XL)だと毎秒約20トークンでした。これは64kコンテキスト(一度に扱える文章量)での数値です。この際、本体の共有メモリ11.4GBを使用しています[4]。9Bでの毎秒55トークンは、解説ブログの見出しにもなった数字です[5]。比較として、CPU時代は0.8Bが毎秒13〜21トークン、2Bが約9トークンでした[2]。同じ0.8Bでも、速度はおよそ10倍変わる計算です。

技術面で効いているのは、「llama.cppごと移植した」方式です。これまでのPS5でのLLM試行は、モデルごとにGPU向けの細かいプログラムを手書きするものでした。PS5LMはllama.cpp自体を載せ替えたため、Qwen、Llama、Mistral、Gemmaの各アーキテクチャ(モデルの設計)と、1bit〜8bitの量子化をまとめて使えます[2]。最初の目標は、最新のQwen 3.8(27B)での実行です。このモデルは、ハイブリッド型のGated DeltaNet注意機構(文章のどこに注目するかを決める仕組み)を持っています。PS5での実行は、まだ誰も達成していません[2]。2〜3bit量子なら本体メモリに収まる計算で、llama.cppの量子化技術がそのまま活きる場面です[2]。

サーバーとしての顔も濃くなりました。APIはOpenAI互換に加えてAnthropic互換を備えました。Claude Codeなどのコーディングツールの接続先として、PS5を指定できます[4]。テレビ画面向けのチャットUIや、リクエストのライブ監視も揃っています。本体の状態を示すハードウェアテレメトリに加え、「decision models」向けのOllaya互換APIまで用意されました[4]。ゲーム機が推論サーバーとして振る舞う姿が、具体的になってきました。

しかし、称賛一辺倒ではありません。daily.devのコミュニティでは「PS5は本当に割に合うのか」という費用対効果の議論が交わされています。ミニPCや、BC-250というマイニング用基板を使う案との比較です[4]。脱獄系プロジェクトがGitHub上でSonyの削除対応を乗り越えられるかという懸念も、議論を長く引っ張るテーマです[4]。また、ペイロードのままでは約1.6GBまでしかモデルをメモリに確保できません。ホーム画面の動作を圧迫しない範囲に限られます。現行のv0.1カタログは、Qwen3.5 0.8Bと2Bの2種類に絞られています。大規模モデルには、PS5の正式アプリとして動かす「ネイティブアプリ化」が課題です[2]。

Hacker Newsのコメント欄には、この奇妙な組み合わせを楽しむ空気が流れていました。「共有メモリ11.4GBある。GPUを持っていない人なら面白いことができるはず」という指摘[3]をはじめ、過去のPlayStation 3によるクラスタ計算を引き合いに出す投稿が並びます。「Beowulfクラスタを想像できるか」という定番ジョークもありました。「近いうちに、とんでもなくランダムな機器がモデルをホストする時代が来る」という感想や、「Anthropicの自己複製モデルがPS5を乗っ取る日も近い」という冗談も飛び交いました。

PS5LMの物語は、ゲーム機の妙技というより、llama.cppの移植性の高さを示す実例と言えそうです[2]。同プロジェクトは、ハッカーカルチャーとローカルAI推論が交差する地点の実験でもあります。GPU推論とAPIサーバー化で、「遊び」から「使える実験環境」へ一歩進みました。一方で、費用対効果の議論や権利者の動向という不確実さも抱えます[4]。それでも「テレビの下のゲーム機がAIサーバーになる」という発想自体が、ローカル推論の裾野を広げています。関連報道は各所に広がっており[5][7]、次の焦点はネイティブアプリ化とQwen 3.8 27Bの実行です。