llama.cppのMoEオフロードに、スマホやノートを狙うラッパーや動的オフロードのフレームワークが登場し、実装が増えています。Qwen3-Coder 30Bはトークンごとに3Bだけ動くものの、重みの置き場所が壁で、RAMへの逃がしは速度との引き換えです。

続きを読む →

llama.cppフォークの推論時abliterationエンジンがStrataに移植され、再学習なしで拒否を除いたモデルを動かす動きが出ました。Qwen3.8-Flash-Nextのabliterated版は2bit量子化でRTX 3090を1〜2枚の構成です。ただし品質検証はこれからの段階です。

続きを読む →

長文推論向けキャッシュ技術「Strata」を実機で動かすレポートが登場。Qwen3.8-Flash-Nextを5ビット量子化・128GB RAMで79 tok/sで動かしたと報告されています。一方、組み込みが進む新量子化GyroにはEXL3超えの公開証拠がなく、Strata論文はOSDI 26に掲載されました。

続きを読む →

NVIDIAのGPU「Blackwell」は2080億トランジスタ・2ダイ構成・FP4対応を公表。Blackwell Ultraはattention層2倍・AI演算1.5倍です。2026年度Q4の売上高は681億ドルで過去最高、AI半導体は73%増。データセンターと4GBエッジの両極を支える構図がわかります。

続きを読む →

自宅のPCで動くAIエージェント「OpenClaw」に、設計資料と第三者セキュリティ論文という新動きが出てきました。中心は全チャットをさばくゲートウェイで、最新安定版は裏方タスクをSQLiteで一元管理します。論文は本体に加え「変種」も検証対象に据えました。

続きを読む →

Javaさえあれば動く単一JARファイルでLLM推論を行い、llama.cppより速いと主張するツールがHacker Newsで話題に。ローカル推論はコスト面でも有利で、RTX 4090なら約5300万トークンで元が取れる計算です。ただし速度比較の実測データはまだありません。

続きを読む →

763BのDeepSeek-V4.1-Flash-1017量子化版で、圧縮の技術詳細が開発元から示されました。GSQが丸め方を学習で決め、RCOがテンソルごとに精度を配分します。1.75〜2.25ビットの3種類に加え、検索テーブルを分離するEngramファイルが12GB GPUでの動作を支えます。

続きを読む →

オープンソースエージェントHermesについて、コミュニティのベンチマーク報告と公式情報を整理した。同一モデルのテストでHermesハーネスはタスク7で停止し、他の2基盤は71.2点と39.2点だった。機能・料金の最新像と、ブランド名との紛らわしさもまとめる。

続きを読む →

xAIから社名が変わったSpaceXAIが、長時間エージェント向けの新モデル「Grok 4.6」を公開。総合ベンチマークで61を記録し、GPT-5.6 Solに並びました。前モデルから5ポイント更新ですが、個別テストの評価は分かれています。

続きを読む →

DotsのOCRモデルdots.ocrがdots.mocrへ改名しました。1.7Bの小型モデルで多言語文書解析を担い、図表や化学式を直接SVGコードへ変換できる点が特徴です。進化の流れ、GGUFやvLLMなどのローカル推論環境、実測数値が素材に見えない現状まで整理します。

続きを読む →