NVIDIAのBlackwellを巡り、MLPerfで全項目最速と報告されました。さらに論文ではB200がH200比で学習スループットが1.85倍、エネルギー効率が32%向上したと実測されています。AIの推論と学習で、FP4と省エネの差が焦点です。

続きを読む →

Qwen3.8系の公開とローカル推論が同時に進み、Strataとllama.cppの速度差や27Bの評価と不満が話題です。API版の拡充やAIバブル関連語も加わり、実運用では速さと安定を自分の構成で測る必要があり、分かれ目が見えます。

続きを読む →

ThreadShelfの続報です。MCPサーバーは9ツールでObsidianのvaultを既定読み取り専用にし、削除はMCP外に限定します。Hacker Newsの注目度は小さく、AIバブル関連トレンドの中でローカル推論の安全な接続が進みます。

続きを読む →

Foundry LocalはQwen3.8-27Bをローカルで動かし、GitHub Copilotに接続します。量子化で約18GB、24GBのGPUメモリで動作し、llama.cppより速いという報告があります。実用性と制約がわかります。

続きを読む →

RTX 3090でDeepSeek Flashを動かす試みです。Delta推論エンジンv0.93は192GB RAMで41 tok/s、64GB RAMでも使えると報告されています。品質は99問で52問から57問に改善し、入口がRAMと量子化へと広がりました。

続きを読む →

llama.cppチームのMac/Windows向けアプリが話題です。1MBでOpenAI互換APIや自動設定を提供し、Vulkan最適化やベンチマークも続いています。AIバブルの話題の中で、ローカル推論の実用性が見えてきます。

続きを読む →

StrataでQwenの小型から大型まで試した結果、VRAMを超える構成でprefillとdecodeが伸びる分岐点が示されました。RTX 3060では35B以上のMoEで最大約2倍、RTX 5060 Tiでは軽い量子化が65.55トークン/秒です。

続きを読む →

NVIDIAのBlackwellがMLPerf Training v5.1で全項目で最速を発表しました。H200比ではResNet-50が1.85倍、GPT-1.3Bが1.55倍、電力効率は32%改善しました。FP4と接続仕様からAI推論と学習の変化を解説します。

続きを読む →

Qwen3.8 Flash-Nextのローカル推論で、RTX 5080と64GB RAMの構成が話題です。実測はエージェント作業で平均195.6トークン/秒、prefill約5700トークン/秒と報告されました。27Bの推定速度や不満もあり、構成とエンジン次第で評価が分かれています。

続きを読む →

UnslothがQwen3.8-Flash-NextのGGUFをV3.1に更新し、15%高い精度をうたう。26.2Bトークンのベンチやengram容量、ローカル実行のRAM目安が話題です。XトレンドではChatGPTImages2.6やAI暴走も上がります。

続きを読む →