NVIDIA RTX 30/40シリーズの人工的な性能制限を解除するオープンソースツールが話題です。LLM推論のprefillが最大2倍、実使用でも最大60%の向上が報告されています。一方で中古GPU価格が数時間で15〜20%上昇し、NVIDIAの市場戦略との攻防が注目されます。

続きを読む →

llama.cppでFFNのゲート/アップ計算とGLUを1つにまとめるCUDA最適化PRが話題です。DGX SparkではLlama-3.1-8Bのprefill速度が最大10.7%向上、RTX 5090でも数%の改善が報告されました。CUDA Graphsなど周辺の最適化の動きも合わせて解説します。

続きを読む →

前回のGrok 4.6価格追跡に続き、今回はxAIのエージェント製品「Grok Bot」を解説します。各Botがブラウザやターミナル付きのクラウドPCで動き、見本を見せた作業をスキル化して定期実行できます。8月11日ベータ公開で、月20ドルのCursor Proからも利用可能です。

続きを読む →

Dots AIのLLM「dots.llm1」を改めて掘り下げた。総142BのMoEで、推論時に動くのは14Bだけ。合成データなしの学習でQwen2.5-72Bに匹敵するとし、学習途中のチェックポイントもMITライセンスで公開している。一方で、実測TPSなどのローカル実行データは素材に見つからなかった。

続きを読む →

DeepSeek-V4.1-Flashの2bit量子化版を巡り、Redditで「ベンチマークが飽和していて劣化を測れない」と検証を問う声が上がっています。IQ2_XXSは元モデルと同等スコア、AIME25は全バージョンで100です。KLDやPPLの実測が待たれる段階です。

続きを読む →

旧型GPU 2枚でQwen3.8-27Bを約60tpsで動かした報告の詳細が判明。構成はTesla P100 2枚・q6_k量子化・Linux Mintでした。さらにQwen3-32Bでは層ごとに精度を使い分ける超低ビット量子化が公開され、1ビット相当でperplexityを43.9%改善しています。

続きを読む →

RAMに入りきらない巨大MoEモデルをスマホやノートで動かすllama.cpp拡張が、実装と解説の両面で広がっています。BigMoeOnEdgeやllama.moe(zilong)などの道具が登場した一方、実測速度の数値はまだ公開されておらず、検証が今後の焦点です。

続きを読む →

Kimi開発元のMoonshot AIが2.8Tパラメータのオープンモデル「Kimi K3」を発表し、事後学習版「Kimi K3.1 Pro」の技術ブログが話題です。K3.1 Proは数百ドメインへの大規模強化学習で、歩行シミュレータ構築時に36箇所の誤りを自力修正しました。重みは11月4日公開予定です。

続きを読む →

MetaのパーソナルAIエージェント「Muse」の追跡記事です。9月23日のイベントでRealtime AvatarやmacOS操作、専用デバイスMuse Charmなどが発表されました。安全面は専用VM・権限管理・使い捨てカード決済で固められており、残る課題は利用者の信頼です。

続きを読む →

JARファイル1つで動くJVM製推論エンジンの「llama.cpp超え」主張は、Hacker Newsでスコア1・コメント0件のままです。2026年のエンジン比較では単独速度の差は62〜71トークン/秒と小さく、勝負どころは同時処理のスループットです。検証ツールはすでに整っています。

続きを読む →