GitHub Copilotは、コード補完からエージェント中心の開発基盤へ刷新されました。Fusion MaxはOpus 5.5 Maxと2点以内の差で、コスト半分、時間40%短縮とされています。本記事では、その中身と制約を整理します。
タグ: ガジェット
続・GrokBot追跡：クラウドPCを持つAI同僚
Grok Botは名前と記憶を持つAI同僚を、クラウド上のPCで動かします。複数Botが連携し、実演から手順を学んで再実行できます。素材には直接の試行数値は乏しく、ベンチマークは見出し中心ですが、価格とサブスク、推論調整の広がりが見えます。
追跡：llama.cpp基準のMoE最適化とJVM実装
llama.cppを基準に、MoEのRAM分担やJVM単一JAR推論が話題です。RTX 4090では5〜10%のTPS差、8GB GPUで35Bを動かす設定が具体化しました。ローカルAIの最適セットアップが見えます。
続報・llama.cppを基準に、スマホMoEとJVM実装が動き出す
llama.cppを取り巻く動きが広がっています。依存ライブラリなしの2.6MBのJARで動くJVM推論スタックが、CPU上でllama.cppに匹敵すると主張。AndroidのAdreno GPUで動かすチュートリアルや、スマホとノートPCで巨大MoEを流す拡張も現れました。ただし比較数値は乏しく、検証はこれからです。
続報・巨大MoEの推論をディスクから先読み、llama.cpp周辺の実装と検証
巨大MoEモデルのエキスパートをディスクから直接読み込む推論方式が、llama.cpp周辺で具体化してきました。ルーターとattentionの計算の隙間を先読みに使い、概ね2倍の速度向上が報告されています。実装や検証記事も出そろい、24GBでの96K主張の裏付けも問われ始めました。
続報・巨大MoEをディスクから流す、llama.cpp拡張の中身と周辺実装
llama.cppの上で巨大MoEをスマホやノートに流す拡張がHacker Newsに投稿され、動的に専門家をオフロードする実装も公開されました。専門家をディスクから先読みする方式は約2倍の速度向上が報告されています。ただし注目は限定的で、複数実装が並立する段階です。
続報・JVM推論エンジンに新顔JInfer、依存ゼロ型と対照的に
JVM上でLLMを動かす推論エンジンに、ONNX Runtimeを活用する新顔JInferが登場しました。依存ゼロ・2.6MB JARのQuixotic AIはHacker Newsでスコア2まで動いています。ローカルLLM環境が50超に広がる中、Java陣営の手法が二分化しました。
続報・巨大MoEの壁はRAMの外へ、llama.cpp拡張と8GB GPUの実検証
RAMより大きいMoEモデルをスマホやノートで動かすllama.cpp拡張が登場しました。既存のオフロード手法は、35Bのうち約3Bだけを稼働させる構造を活かし、8GBのGPUでも17.7GBのモデルを動かせています。新ツールの位置づけと実検証の数値を整理します。
スマホで巨大MoEを動かす、llama.cpp上の新レイヤーが登場
Hacker Newsで、llama.cppの上に層を重ね、スマホやノートPCで大きなMoEモデルをストリーミング推論する試みが紹介されました。8GBのノートPC GPUで35Bモデルを動かした報告もあり、小さい端末で大きいモデルを動かす動きが集まっています。評価はまだこれからです。
続報・8GBのGPUで35Bモデルを動かすMoEオフロード、実検証と新たな疑問
llama.cppのMoEオフロードが進化し、8GBのGPUで35Bモデルを動かした実検証や専用ツール、解説が相次いで登場しました。35Bのうち推論で動くのは約3Bという構造が鍵です。一方、MoEが本当にエッジ推論に役立つのかを問う論文も現れました。
RECENT POST
-
2026.11.10
続・llama.cppの切替高速化、KV cacheの残し方が鍵 -
2026.11.10
続・RTX 3090、2026年に24GBがAIと4Kで再評価 -
2026.11.10
続・qwen-concept-27b、重み編集で思考トークン減りスコア増
RECENT COMMENTS