タグ: ゲーム

使う分だけ読み込む:巨大MoEをスマホやPCで動かすストリーミング推論

MoEモデルの専門家を必要な分だけディスクやRAMから読み込む「ストリーミング推論」の試みが相次いでいます。llama.cppでは30B級モデルが16GB GPUで動き、読み込みと計算の重ね合わせで約2倍の速度向上も報告されました。ローカル推論のメモリとの付き合い方が変わる可能性を示す話題です。

続・流れについていけない 「置いていかれる側」の実感が調査で裏付き始めた

5chの「流れについていけない」スレッドから、AIに置いていかれる実感を裏づける調査が複数見つかった。AMAやPwCは職場での取り残されを指摘する一方、Verasightでは半数近くが「感じていない」と回答。OpenAIが13〜17歳向けの安全機能を発表するなど、家庭や学校の側の対応も進み始めた。

PS5 llama.cpp続報、実測速度と「コスパ」論争が浮上

リビングのゲーム機が、そのままAIサーバーになる――。脱獄(メーカーの制限を外して自作ソフトを動かす改造)済みのPlayStation 5でAIを動かすプロジェクト「PS5LM」が注目を集めています。心臓部は、AIモデルを実行するオープンソースの推論エンジンllama.cppです。Hacker Ne […]

続きを読む

続報:PS5LMがGPU推論に到達、27Bモデルを9〜21トークン/秒で動かす

テレビの下に置いたゲーム機が、そのままAIサーバーになる。そんな光景が実際に動き始めました。舞台はジャイルブレイク(本体の制限を解除する改造)済みのPS5です。ローカルで大規模言語モデルを動かす定番ソフトllama.cppを、PS5で動かすオープンソースプロジェクト。それが「PS5LM」です。開発者 […]

続きを読む

CALENDAR

2026年11月
日 月 火 水 木 金 土
1234567
891011121314
15161718192021
22232425262728
2930  

ARCHIVES

CATEGORIES