ローカルAIをめぐり、量子化モデルのバックアップ呼びかけ、モデルファイルのセキュリティリスク、GPU価格の高騰が同時期に表面化。CVSS 9.3の脆弱性やjailbreak成功率への影響も報告され、手元で動かすAIの「守り」が本格的な課題になっています。
カテゴリー: AI
続・エージェント隔離のその後、カンバンで回す運用と失敗処理が見えてきた
AIエージェントのコード実行を隔離するサンドボックス化が一般的になる中、関心は運用側へ広がっています。gVisorで隔離し、カンバンでタスクを回す個人開発が登場しました。失敗時の再試行や資格情報の隔離など、実運用の知見が共有されています。
続報・8GBのGPUで35Bモデルを動かすMoEオフロード、実検証と新たな疑問
llama.cppのMoEオフロードが進化し、8GBのGPUで35Bモデルを動かした実検証や専用ツール、解説が相次いで登場しました。35Bのうち推論で動くのは約3Bという構造が鍵です。一方、MoEが本当にエッジ推論に役立つのかを問う論文も現れました。
続・Gemini Agent追跡、Chrome改修の実例が示すエージェントの成果
Googleが発表した単一の業務用エージェント「Gemini agent」の動きを追いました。Chromium約4000万行の中で約600万行のレガシーコード分離を数カ月から数週間へ圧縮した実例や、顧客の約80%がAI製品を利用する規模を整理し、評価と調整が前提の運用面にも触れます。
続・Gemini Spark追跡、13歳未満に開かれるGeminiの現在地
GoogleがFamily Link管理下の13歳未満にGeminiアプリを数週間以内に開放すると保護者に通知しました。初期状態で有効で、子ども自身が切り替えられ、初回起動時には保護者へメールが届きます。物語作成や宿題支援などの機能が示される一方、フィルター付きでもリスクは残るとの報告もあり、安全策の実効性が問われています。
続報・JVM製推論エンジンの輪、Graal実験場とJava向けLLMライブラリ
JARファイル1つで動くJVM製推論エンジンの投稿は、スコア1ポイント・コメント0件で検証を待つ。一方、純Java実装「llama3.java」はVector APIやGraalVM対応など技術の輪郭を見せ、JavaアプリからLLMを扱う「llm4j」も整備が進む。2026年の主要エンジン比較にJVM製の名前はまだ並んでいない。
CUDAカーネル融合で推論が最大10%高速化、その効果と落とし穴
llama.cppにFFNのgate/up行列積とGLUを1つのCUDAカーネルにまとめる最適化PRが投稿され、DGX Sparkで最大10.7%、RTX 5090で最大4.6%のprefill高速化が報告されました。一方、V100での別の融合試行は全体が逆に遅くなり取りやめに。カーネル融合の効果と落とし穴を数値で読み解ける記事です。
Strata続報:16GB VRAMで最大250 tok/s、省メモリ新方式も
ローカル推論エンジンStrataで、16GB VRAMのGPUと55GBのRAMだけでQwen3.8-Flash-Nextが最大250 tok/sで動く実測が報告されました。一方、SSDから直接読み込む新方式は8GBのRAMで約20 tok/sを実現しています。速度と省メモリ、どちらを取るか選択肢が広がりました。
続・OpenClaw追跡:AIが解説書を採点、約40%の高速化と学術の追跡
オープンソースAIエージェントOpenClawで、有志がコード解説書を作成。OpusとMiniMax M2.5が8点・9点と採点し、コードレビュー約40%の高速化を見積もりました。最新版の開発窓には6,844件のコミットがあり、学術論文による追跡も始まっています。
続・Hermes追跡(8)、自己進化エージェントの「測り方」が動き出す
自己進化型AIエージェント「Hermes」をめぐり、評価・訓練・安全を1つにまとめるアーキテクチャ解説と、設定全体を採点する外部ベンチ「HermesBench」(27レシピで78.2点)が公開されました。スコアだけでは見えない信頼性をどう補うかという議論も始まっています。













RECENT COMMENTS