スマホやノートPCで巨大MoEを動かすストリーミング層のその後を追った。32GBノートPCで80B MoEを37トークン/秒で動かす報告や、動的エキスパートオフロードの専用フレームワークが登場。一方で注目は限定的で、速度の壁に挑む研究も進む。

続きを読む →

RTX 5060 Ti(16GB)でのローカルAI推論の実測検証が相次いでいます。8Bモデルを76トークン/秒で安定動作し、30人同時でもエラーゼロ。一方で30Bクラスは1枚では動かず、新モデル18個の比較でも既存モデルを超えたものはなかったと報告されています。

続きを読む →

前回紹介したスマホ向けMoEストリーミング層のその後を追う。284Bモデルを12GBスマホのCPUだけで0.94トークン/秒で動かす仕組みや、llama.cppをフォークしない設計、品質をflash節約と交換するオプションを整理し、GPU・モバイル側の研究動向も伝える。

続きを読む →

llama.cppでAMD Radeon AI PRO R9700の推論を速める試行が話題です。処理量とグラフィックス処理系の設定見直しで、Qwen3 122Bが15トークン/秒から48トークン/秒に向上しました。一方で特定の設定帯で速度が崩れる落とし穴も見つかり、実測の大切さが浮かぶ内容です。

続きを読む →

llama.cppのMoE対応は、ルーティングからカーネル融合まで内部実装レベルで進化し、DeepSeek-V4向け最適化で約19%の性能向上が報告されています。一方、エッジでMoEが本当に有効かを問う論文も登場。実装の進展と検証が並走する段階に入りました。

続きを読む →

AMDのGPU「Radeon AI PRO R9700」でllama.cppの性能を引き出す動きが話題です。まとめ処理の設定見直しだけでQwen3 122Bが15 t/sから40 t/s、2つの工夫で48 t/sに向上。一方、特定設定では逆に速度が落ちる落とし穴も判明しました。

続きを読む →

リビングのゲーム機が、そのままAIサーバーになる――。脱獄(メーカーの制限を外して自作ソフトを動かす改造)済みのPlayStation 5でAIを動かすプロジェクト「PS5LM」が注目を集めています。心臓部は、AIモデルを実行するオープンソースの推論エンジンllama.cppです。Hacker Ne […]

続きを読む

RAMが12GBのスマホで、284BのAIモデルが動き出しました。生成速度は毎秒0.94トークン。速くはありませんが、CPUだけでの実行です[4]。きっかけは、Hacker Newsに投稿された「BigMoeOnEdge」です。llama.cpp(ローカルAI実行で定番のオープンソースエンジン)の上 […]

続きを読む

「そろそろllama.cppを更新するタイミングです」。Redditのr/LocalLLaMAで、こんな一言とともに話題になったのが、QSAマスク向けの新しい融合演算を追加するプルリクエストです[1]。融合演算とは、複数の演算をまとめて1つにする最適化のことです。作者はam17anさん。対象はggm […]

続きを読む

リビングのゲーム機が、そのままAIサーバーになる。そんな試みが一段階進みました。PlayStation 5を脱獄(メーカーの制限を解く改造)し、llama.cppを動かす試みが「PS5LM」です。llama.cppは、ローカルで大規模言語モデルを動かす定番ソフトです。Hacker Newsでは375 […]

続きを読む