xAIが、自分専用のクラウドコンピュータを持ち、既存アプリを横断して仕事を完遂するAIエージェント「Grok Bot」をベータ公開しました。営業・総務・開発での社内実例が示され、SuperGrokやCursorの一部プランで利用できます。仕組み、実例、利用上のポイントを解説します。
タグ: ガジェット
続・MoEスマホストリーミング追跡:エキスパートのディスク読み込みで速度2倍
スマホやノートPCで大型MoEを動かす試みが進み、llama.cpp上の新ツールが登場しました。エキスパートをRAMやディスクから必要な分だけ読む手法が広がり、8GB GPUでも35Bモデルが動き、概ね2倍の速度向上の報告もあります。
続・llama.cpp MoE追跡、8GB GPUで35Bが動きスマホも視野
llama.cppのMoEオフロードをめぐり、8GBノートGPUで35Bモデルを動かした実験や、スマホで大型MoEをストリーミングする新プロジェクトが登場しました。エキスパート層をRAMへ退避させる手法の解説が増える一方、スマホ向けは注目が限定的で、実測速度の報告もまだ見当たりません。
使う分だけ読み込む:巨大MoEをスマホやPCで動かすストリーミング推論
MoEモデルの専門家を必要な分だけディスクやRAMから読み込む「ストリーミング推論」の試みが相次いでいます。llama.cppでは30B級モデルが16GB GPUで動き、読み込みと計算の重ね合わせで約2倍の速度向上も報告されました。ローカル推論のメモリとの付き合い方が変わる可能性を示す話題です。
巨大MoEモデルをスマホで動かす、llama.cpp活用の新レイヤーが登場
巨大MoEモデルをスマホやノートPCで動かすため、llama.cppの上にストリーミング層を追加したプロジェクトがHacker Newsに投稿されました。MoEはトークンごとに一部のパラメータだけを計算する仕組みで、エキスパートを必要な時に読み込む手法では約2倍の速度向上も報告されています。
続・Gemini Agent最新、仕事の入口を一本化する設計とコスト管理
Google Cloudが業務用の単一汎用エージェント「Gemini agent」を発表しました。GmailやDocsなどWorkspaceへの組み込み、モデルの使い分けと支出上限によるコスト管理が柱です。Fortune 100の約90%がGemini Enterpriseを利用するなど、導入規模の数字も明らかになりました。
脱獄したPS5が自宅のAIサーバーになる、llama.cpp移植が話題
脱獄したPS5のGPUでllama.cppを動かし、家庭のLANにAIモデルを提供する「PS5LM」が話題です。Qwen 3.5 9Bで毎秒55トークンなど実測が示され、OpenAI互換APIでClaude Codeも動きます。比較論や削除リスクの議論も紹介します。
続・スマホ向けMoEストリーミング層、その後を支える技術と実証の動き
スマホやノートPCで巨大MoEを動かすストリーミング層のその後を追った。32GBノートPCで80B MoEを37トークン/秒で動かす報告や、動的エキスパートオフロードの専用フレームワークが登場。一方で注目は限定的で、速度の壁に挑む研究も進む。
続・スマホMoEストリーミング層を追う:自動プランニングと品質のトレードオフ
前回紹介したスマホ向けMoEストリーミング層のその後を追う。284Bモデルを12GBスマホのCPUだけで0.94トークン/秒で動かす仕組みや、llama.cppをフォークしない設計、品質をflash節約と交換するオプションを整理し、GPU・モバイル側の研究動向も伝える。
続・llama.cpp MoE追跡、内部実装は進化、エッジ適性には疑問も
llama.cppのMoE対応は、ルーティングからカーネル融合まで内部実装レベルで進化し、DeepSeek-V4向け最適化で約19%の性能向上が報告されています。一方、エッジでMoEが本当に有効かを問う論文も登場。実装の進展と検証が並走する段階に入りました。
RECENT POST
-
2026.11.10
続・llama.cppの切替高速化、KV cacheの残し方が鍵 -
2026.11.10
続・RTX 3090、2026年に24GBがAIと4Kで再評価 -
2026.11.10
続・qwen-concept-27b、重み編集で思考トークン減りスコア増
RECENT COMMENTS