llama.cppのMoEオフロードに、スマホやノートを狙うラッパーや動的オフロードのフレームワークが登場し、実装が増えています。Qwen3-Coder 30Bはトークンごとに3Bだけ動くものの、重みの置き場所が壁で、RAMへの逃がしは速度との引き換えです。
タグ: llama
1つのJARでLLM推論、llama.cpp超えを主張するJVMツールが登場
Javaさえあれば動く単一JARファイルでLLM推論を行い、llama.cppより速いと主張するツールがHacker Newsで話題に。ローカル推論はコスト面でも有利で、RTX 4090なら約5300万トークンで元が取れる計算です。ただし速度比較の実測データはまだありません。
続報・巨大MoEをスマホやノートで動かすllama.cppラッパーが登場
llama.cppのMoEオフロードをめぐり、スマホやノートPCで巨大MoEを動かすラッパーがHacker Newsに投稿されました。Qwen3-235B-A22Bは総235Bのうち約22Bだけが動くため、16GBのGPUでも動かせます。ただしラッパー自体の実測値はまだありません。
続報・自作推論エンジンのその後、API価格1000倍の差と研究の最新
自作推論エンジンへの挑戦が続き、手法のバイブコーディングは学術論文でも扱われるようになりました。GPT-4は出力1000トークン0.06ドル、小型モデルは100万トークン0.06ドルと価格差は1000倍。価格の動機、OOMやインスタンス共有の問題、研究の最新を追います。
JARファイル1つで動くJVM製推論エンジン、llama.cpp超えを主張
JVM上で動く推論エンジンが、依存ライブラリなしのJARファイル1つでローカル推論ができ、llama.cppより速いと主張してHacker Newsに投稿されました。ただしコメントはなく、根拠数値も素材では未確認です。比較記事が乱立するローカル推論分野に、検証待ちの新顔が登場しました。
6GBのGPUでMoEが45トークン/秒、ik_llama.cppフォークが更新
llama.cppの高速化フォークik_llama.cpp関連の動きが相次いでいます。MoE最適化を進めるフォークは6GBのRTX 2060で生成45〜48トークン/秒、28Kコンテキストでも37トークン/秒を報告。フォークが先行した機能や利用上の注意点、本体統合を見送る理由まで整理します。
続報・Vibecoding推論エンジンに教材続々、結論はllama.cpp
AIに頼んで推論エンジンを自作する動きに、学習教材が相次いで登場しています。ブラウザのGPU機能で量子化モデルを動かす投稿がある一方、KVキャッシュやFlash attentionを章立てで学べる書籍も現れました。投稿者の結論は「llama.cppをcloneせよ」で、学習と実用の棲み分けが鮮明になっています。
PS5がそのままAIサーバーに、脱獄してllama.cppを動かす実験が話題
脱獄したPS5でllama.cppを動かし、GGUFモデルをGPUで推論する「PS5LM」が話題です。PS5 Slimでは0.8Bモデルが約207トークン/秒、9Bで55トークン/秒。11.4GBの共有メモリをOpenAI互換APIでLAN内から使えます。セットアップの難しさや割に合うかの議論も盛んです。
続報・llama.cppのMoE、エキスパート先読みで2倍のめど
llama.cppのMoEオフロードについて、仕組みと速度の代償を解説する記事が相次ぎ登場しました。エキスパート重みをシステムRAMに置く手法は235Bモデルを16GB GPUで動かせますが、速度との交換です。ディスクからの先読みでは約2倍のスループット向上が報告されています。
続報・llama.cppのMoE拡張、ディスクからエキスパートを流す新方式
VRAMに収まらないMoEモデルをローカルで動かすllama.cppの拡張が進んでいます。層ごとにエキスパートをRAMへ置く方式に加え、必要なエキスパートをディスクから先読みする方式では約2倍のスループット向上が報告され、複数の実装が登場しています。
RECENT POST
-
2026.11.10
続・llama.cppの切替高速化、KV cacheの残し方が鍵 -
2026.11.10
続・RTX 3090、2026年に24GBがAIと4Kで再評価 -
2026.11.10
続・qwen-concept-27b、重み編集で思考トークン減りスコア増
RECENT COMMENTS