Redditで、AIとの対話でLLM推論エンジンを自作した報告が話題です。GGUFのQ4量子化モデルをブラウザのWebGL2で動かせた一方、トークナイザはデバッグ地獄だったといい、結論は「llama.cppをクローンしろ」。自作の価値と限界がわかる投稿です。
タグ: llama
続報・llama.cppのMoE層、スマホで巨大モデルを動かす試みと実測値
llama.cppの上に巨大MoEをスマホでストリーミングする層「BigMoeOnEdge」がHacker Newsに投稿されました。派生Project MayaはRTX 3060×2・RAM 256GBでDeepSeek V4.1 Flashを約11.1トークン/秒で動かしています。ただしHNの反応はコメント0件で、スマホでの実証はこれからです。
続・MoEスマホストリーミング追跡:エキスパートのディスク読み込みで速度2倍
スマホやノートPCで大型MoEを動かす試みが進み、llama.cpp上の新ツールが登場しました。エキスパートをRAMやディスクから必要な分だけ読む手法が広がり、8GB GPUでも35Bモデルが動き、概ね2倍の速度向上の報告もあります。
続・llama.cpp MoE追跡、8GB GPUで35Bが動きスマホも視野
llama.cppのMoEオフロードをめぐり、8GBノートGPUで35Bモデルを動かした実験や、スマホで大型MoEをストリーミングする新プロジェクトが登場しました。エキスパート層をRAMへ退避させる手法の解説が増える一方、スマホ向けは注目が限定的で、実測速度の報告もまだ見当たりません。
脱獄したPS5でllama.cppが動く——小型モデルは124トークン/秒に
ジェイルブレイクしたPS5でllama.cppを動かす「PS5LM」が話題です。Vulkan経由でGPUを使うネイティブ実行によりRAMは11.4GiBへ拡大し、小型モデルで最大124トークン/秒を達成。実測値と制約、27Bモデルへの目標を整理します。
続報・Intel B70のXMX刷新PRが話題 ローカル推論の速度が変わる
llama.cppにIntel B70のXMX行列エンジンを刷新するPRが投稿され、スペキュレーティブデコードの大幅改善が報告されています。30Bモデルの実測は36〜53トークン/秒が基準。一方でSYCL自作カーネルはTriton比50〜60倍遅く断念する試行もありました。
PS5LM続報:v0.9.1で安定化が進む、ゲーム機AIサーバーのその後
脱獄したPS5でllama.cppを動かす「PS5LM」がv0.9.1に更新。ログあふれによるサーバー停止やストレージ接続の不具合が直り、TV操作画面やモデル自動計画など機能も充実しました。家庭用ゲーム機がローカルAIの土台となる動きを追います。
続・Strata追跡：R9700でdecode逆転を狙うllama.cpp PR
125Bモデルを12GB GPUで動かす専用推論エンジンStrataに対し、llama.cpp側がAMD R9700向けPRでdecode速度の逆転を狙う動きが話題です。3060や3090の検証ではStrataが最大7倍近く速い一方、回答の再現性に課題も見つかりました。専用と汎用エンジンの競争が加速しています。
巨大MoEモデルをスマホで動かす、llama.cpp活用の新レイヤーが登場
巨大MoEモデルをスマホやノートPCで動かすため、llama.cppの上にストリーミング層を追加したプロジェクトがHacker Newsに投稿されました。MoEはトークンごとに一部のパラメータだけを計算する仕組みで、エキスパートを必要な時に読み込む手法では約2倍の速度向上も報告されています。
脱獄したPS5が自宅のAIサーバーになる、llama.cpp移植が話題
脱獄したPS5のGPUでllama.cppを動かし、家庭のLANにAIモデルを提供する「PS5LM」が話題です。Qwen 3.5 9Bで毎秒55トークンなど実測が示され、OpenAI互換APIでClaude Codeも動きます。比較論や削除リスクの議論も紹介します。
RECENT POST
-
2026.11.10
続・llama.cppの切替高速化、KV cacheの残し方が鍵 -
2026.11.10
続・RTX 3090、2026年に24GBがAIと4Kで再評価 -
2026.11.10
続・qwen-concept-27b、重み編集で思考トークン減りスコア増
RECENT COMMENTS