NVIDIA RTX 5090が米主要店舗の在庫から消え、第三者価格は発売時の1999ドルから6500〜9500ドルに急騰しています。香港メディアの写真では中国のAIサーバー組立現場に小売箱が積まれており、AI需要がゲーミングGPUを吸い上げる実態が浮き彫りになりました。

続きを読む →

xAIのGrok Botは、各Botが専用クラウドコンピュータを持ち、実際のアプリを操作して仕事を最後まで担うエージェント群です。8月11日に早期ベータが始まり、デモからの学習やBot同士の連携が特徴です。仕組み、導入経路、共用設計の注意点を整理します。

続きを読む →

BaiduがKVキャッシュを最大4分の1に圧縮する新手法VHAを発表。GQA比でベンチマーク+0.05〜+0.81%を維持しつつキャッシュを削減し、学習とprefillの計算量も7.9%減。推論時は既存のGQA最適化をそのまま使える点が注目です。

続きを読む →

AIエージェントの振る舞いをCIで自動検証するCATTが0.2.1に更新。模倣した振る舞いの根拠を4段階のラベルで明示する一方、合格しても公式アシスタントとの互換は保証しないと明言しています。エージェントをgVisorなどで隔離する動きもあわせて追いました。

続きを読む →

Qwen3最小モデル0.6BをMoE構造に変換する試みがローカルコミュニティで話題です。Qwen3は共有エキスパートを持たず品質維持が難しく、疑似共有エキスパートで対処しました。公式レポートはthinkingモード統合や多言語対応29から119への拡大を示しています。

続きを読む →

文書解析AI「dots.ocr」を追った継続記事。1.7BのVLM1つでレイアウト検出と文字認識を統合し、100言語・1493枚の社内ベンチマークで低資源言語に強みを示す。2026年3月にはdots.mocrへ改称し、図表をSVGコードへ直接変換する方向に進化。評価条件の混在という注意点も整理した。

続きを読む →

脱獄PS5でllama.cppを動かすPS5LMの追跡記事です。GPU活用ではQwen3.5 0.8Bで約207トークン/秒、9Bで55トークン/秒、27Bでも約20トークン/秒の実測が報告されました。llama.cpp本体を移植する方式の強みと、削除リスク・コスパ論争も解説します。

続きを読む →

LLM推論エンジンの自作が各所で試されています。純Python約200行でKVキャッシュ付きの生成を実現した記事や、HTML内で量子化モデルを動かした投稿が登場。ただし難所はトークナイザで、投稿者は「llama.cppをcloneしたほうがいい」と締めています。

続きを読む →

VRAM 8GBのノートGPUで35Bモデルを動かすMoEオフロード手法が注目されています。MoEは推論で動く部分が約3Bと少なく、待機エキスパートをRAMへ置けばVRAMの壁を越えられます。スマホ向けの拡張レイヤー投稿や実践ガイドも出てきました。

続きを読む →

Redditで、AIとの対話でLLM推論エンジンを自作した報告が話題です。GGUFのQ4量子化モデルをブラウザのWebGL2で動かせた一方、トークナイザはデバッグ地獄だったといい、結論は「llama.cppをクローンしろ」。自作の価値と限界がわかる投稿です。

続きを読む →