ジャイルブレイクしたPS5でllama.cppを動かす「PS5LM」が、Hacker Newsで375ポイントの注目を集めています。PS5のGPUと11.4GBの共有メモリでGGUFモデルを推論し、OpenAI互換APIでClaude Codeからも使えます。0.8Bで207トークン/秒、9Bで55トークン/秒の実測がある一方、Sony対応やコスパをめぐる議論も。

続きを読む →

買い占めで市場から消えたRTX 5090で、ローカルLLM推論の実測が相次いで公開されています。Qwenモデルでプロンプト処理約1万トークン/秒、27BモデルはMTP高速化で最高67.87トークン/秒を記録。エンジンと設定の選択が性能を左右する一方、カード価格は定価の3倍超が続いています。

続きを読む →

llama.cppのMoEオフロードの仕組みを解説する記事が登場しました。トークンごとに一部だけ動くMoEの性質を生かし、層の一部をRAMに置く指定と、必要なエキスパートをディスクから先回りで読むストリーミングが鍵です。ある実装では約2倍の速度向上が報告されています。

続きを読む →

自作LLM推論エンジンの挑戦が多様化し、ブラウザ内で量子化モデルを動かす試みや、純Python+NumPyだけの実装が登場しています。一方で期待200に対し20トークン/秒しか出ない壁や「llama.cppを使うべき」との声もあり、学習手段としての価値と実用の壁が同時に見えてきます。

続きを読む →

AIにコードを書かせて自作推論エンジンを作る試みが広がっています。ブラウザ内で量子化モデルを動かした報告がある一方、トークナイザのデバッグなどで挫折する声も目立ちます。200行のPythonで作る例やAPI料金の実例から、自作の価値と限界が見えてきます。

続きを読む →

8GB GPUで35Bモデルを動かしたMoEオフロード技の後を受けて、スマホやノートPCで巨大MoEをストリーミングする専用レイヤーがHacker Newsに登場しました。解説記事も相次ぐ一方、投稿への反応はまだ静かで、スマホでの実測値は示されていません。

続きを読む →

llama.cppの上でスマホやノートPCに巨大MoEをストリーミング実行するレイヤー「BigMoeOnEdge」がHacker Newsに投稿されました。MoEは35Bのうち約3Bだけを推論時に活性化する構造で、休眠層をRAMに置けば8GB GPUでも17.7GBのモデルが動きます。ただしスマホでの実測速度はまだ公開されていません。

続きを読む →

脱獄PS5でllama.cppを動かすPS5LMの追跡記事です。GPU活用ではQwen3.5 0.8Bで約207トークン/秒、9Bで55トークン/秒、27Bでも約20トークン/秒の実測が報告されました。llama.cpp本体を移植する方式の強みと、削除リスク・コスパ論争も解説します。

続きを読む →

LLM推論エンジンの自作が各所で試されています。純Python約200行でKVキャッシュ付きの生成を実現した記事や、HTML内で量子化モデルを動かした投稿が登場。ただし難所はトークナイザで、投稿者は「llama.cppをcloneしたほうがいい」と締めています。

続きを読む →

VRAM 8GBのノートGPUで35Bモデルを動かすMoEオフロード手法が注目されています。MoEは推論で動く部分が約3Bと少なく、待機エキスパートをRAMへ置けばVRAMの壁を越えられます。スマホ向けの拡張レイヤー投稿や実践ガイドも出てきました。

続きを読む →