ローカル推論エンジンStrataで、16GB VRAMのGPUと55GBのRAMだけでQwen3.8-Flash-Nextが最大250 tok/sで動く実測が報告されました。一方、SSDから直接読み込む新方式は8GBのRAMで約20 tok/sを実現しています。速度と省メモリ、どちらを取るか選択肢が広がりました。

続きを読む →

オープンソースAIエージェントOpenClawで、有志がコード解説書を作成。OpusとMiniMax M2.5が8点・9点と採点し、コードレビュー約40%の高速化を見積もりました。最新版の開発窓には6,844件のコミットがあり、学術論文による追跡も始まっています。

続きを読む →

自己進化型AIエージェント「Hermes」をめぐり、評価・訓練・安全を1つにまとめるアーキテクチャ解説と、設定全体を採点する外部ベンチ「HermesBench」(27レシピで78.2点)が公開されました。スコアだけでは見えない信頼性をどう補うかという議論も始まっています。

続きを読む →

NVIDIA RTX 30/40シリーズの人工的な性能制限を解除するオープンソースツールが話題です。LLM推論のprefillが最大2倍、実使用でも最大60%の向上が報告されています。一方で中古GPU価格が数時間で15〜20%上昇し、NVIDIAの市場戦略との攻防が注目されます。

続きを読む →

llama.cppでFFNのゲート/アップ計算とGLUを1つにまとめるCUDA最適化PRが話題です。DGX SparkではLlama-3.1-8Bのprefill速度が最大10.7%向上、RTX 5090でも数%の改善が報告されました。CUDA Graphsなど周辺の最適化の動きも合わせて解説します。

続きを読む →

前回のGrok 4.6価格追跡に続き、今回はxAIのエージェント製品「Grok Bot」を解説します。各Botがブラウザやターミナル付きのクラウドPCで動き、見本を見せた作業をスキル化して定期実行できます。8月11日ベータ公開で、月20ドルのCursor Proからも利用可能です。

続きを読む →

Dots AIのLLM「dots.llm1」を改めて掘り下げた。総142BのMoEで、推論時に動くのは14Bだけ。合成データなしの学習でQwen2.5-72Bに匹敵するとし、学習途中のチェックポイントもMITライセンスで公開している。一方で、実測TPSなどのローカル実行データは素材に見つからなかった。

続きを読む →

DeepSeek-V4.1-Flashの2bit量子化版を巡り、Redditで「ベンチマークが飽和していて劣化を測れない」と検証を問う声が上がっています。IQ2_XXSは元モデルと同等スコア、AIME25は全バージョンで100です。KLDやPPLの実測が待たれる段階です。

続きを読む →

旧型GPU 2枚でQwen3.8-27Bを約60tpsで動かした報告の詳細が判明。構成はTesla P100 2枚・q6_k量子化・Linux Mintでした。さらにQwen3-32Bでは層ごとに精度を使い分ける超低ビット量子化が公開され、1ビット相当でperplexityを43.9%改善しています。

続きを読む →

RAMに入りきらない巨大MoEモデルをスマホやノートで動かすllama.cpp拡張が、実装と解説の両面で広がっています。BigMoeOnEdgeやllama.moe(zilong)などの道具が登場した一方、実測速度の数値はまだ公開されておらず、検証が今後の焦点です。

続きを読む →