手元で動くAIエージェント「OpenClaw」の追跡続報です。導入はmacOSやWindowsで1行のコマンドから始まり、Node 26が推奨されます。チャット接続は20以上に対応し、第三者の解説資料やレビューも増えて、論点はコストとリスクへ広がっています。

続きを読む →

llama.cppのMoEオフロードの仕組みを解説する記事が登場しました。トークンごとに一部だけ動くMoEの性質を生かし、層の一部をRAMに置く指定と、必要なエキスパートをディスクから先回りで読むストリーミングが鍵です。ある実装では約2倍の速度向上が報告されています。

続きを読む →

8GB GPUで35Bモデルを動かしたMoEオフロード技の後を受けて、スマホやノートPCで巨大MoEをストリーミングする専用レイヤーがHacker Newsに登場しました。解説記事も相次ぐ一方、投稿への反応はまだ静かで、スマホでの実測値は示されていません。

続きを読む →

llama.cppの上でスマホやノートPCに巨大MoEをストリーミング実行するレイヤー「BigMoeOnEdge」がHacker Newsに投稿されました。MoEは35Bのうち約3Bだけを推論時に活性化する構造で、休眠層をRAMに置けば8GB GPUでも17.7GBのモデルが動きます。ただしスマホでの実測速度はまだ公開されていません。

続きを読む →

GoogleのパーソナルAIエージェント「Gemini Spark」が日本語での展開を開始し、Xでも関連語がトレンド入りしました。ローカルAIではmacOS 27内蔵LLMや小型特化モデルが話題となる一方、推論エンジンのバックドア懸念やHugging Faceからのモデル消失など、セキュリティの影も濃くなっています。

続きを読む →

脱獄PS5でllama.cppを動かすPS5LMの追跡記事です。GPU活用ではQwen3.5 0.8Bで約207トークン/秒、9Bで55トークン/秒、27Bでも約20トークン/秒の実測が報告されました。llama.cpp本体を移植する方式の強みと、削除リスク・コスパ論争も解説します。

続きを読む →

VRAM 8GBのノートGPUで35Bモデルを動かすMoEオフロード手法が注目されています。MoEは推論で動く部分が約3Bと少なく、待機エキスパートをRAMへ置けばVRAMの壁を越えられます。スマホ向けの拡張レイヤー投稿や実践ガイドも出てきました。

続きを読む →

ローカル・オンデバイスAIの効率化研究が進み、4ビット量子化の誤差を減らすPACE、専門家70〜80%で同等性能のMeta Expertなどが発表されました。一方で注目されたTurboQuantの行方は不明のままです。工夫の方向性と分野の入れ替わりの速さがわかる記事です。

続きを読む →

OpenClawは手元のPCで中継役(Gateway)を動かし、TelegramやSlackなど20以上のチャットアプリとAIをつなぐオープンソースのエージェントです。記憶や認証情報は自分のハードウェアに置かれ、既定の通信は毎日のバージョン確認のみ。一方でセキュリティ評価の論文やレビューも現れ、安全性の検証が始まっています。

続きを読む →

llama.cppの上に巨大MoEをスマホでストリーミングする層「BigMoeOnEdge」がHacker Newsに投稿されました。派生Project MayaはRTX 3060×2・RAM 256GBでDeepSeek V4.1 Flashを約11.1トークン/秒で動かしています。ただしHNの反応はコメント0件で、スマホでの実証はこれからです。

続きを読む →