AMDのGPU「Radeon AI PRO R9700」でllama.cppの性能を引き出す動きが話題です。まとめ処理の設定見直しだけでQwen3 122Bが15 t/sから40 t/s、2つの工夫で48 t/sに向上。一方、特定設定では逆に速度が落ちる落とし穴も判明しました。

続きを読む →

Hugging Face系チームが、DNAと自然言語を1つのモデルで扱う14BモデルCarbon-Xを公開しました。5つのDNAベンチマークで平均66.7%を記録し、ベースのQwen3-14Bを27ポイント上回ります。GPT-6.1 Solに迫る性能を約1800分の1の推論コストで実現し、ローカル実行も可能です。

続きを読む →

3世代前のRTX 3090が中古市場で値上がりし、1月から約5割の上昇。eBay落札68件の集計では中古品の中央値が1,275ドルに達しました。24GB VRAMが34Bクラスのローカル推論の分かれ目であることが背景で、購入リスクも増えています。

続きを読む →

Qwen3.8のローカル実行で、125B MoEのFlash-Nextと27B denseモデルの比較が進んでいます。IQ2まで圧縮したFlash-NextがQ8の27Bをコーディングで上回った報告や、RTX 4070 1枚での実測が共有され、用途別の使い分けが見えてきました。

続きを読む →

MacBookで毎秒125トークンの推論が話題のFlint 40Bの続報です。トークンごとに2.5Bだけ計算するMoE構造という速さの仕組みと、自動研究システムが4カ月未満で開発した実像を整理します。4ビット量子化でも16ビットと0.7ポイント以内の差に収めた点も要点です。

続きを読む →

「Flash」を名乗るDeepSeek-V4.1-Flashが、最上位のV4-Pro廃止とセットで登場しました。入出力で活性パラメータを変える新設計とKVキャッシュ圧縮が鍵で、APIは入力100万トークン0.22ドル。一方、ローカル実行は7.2 tok/sにとどまります。

続きを読む →

OpenAIがGPT-6世代を公開。最上位Astraに迫る知能を標準API価格の5分の1で使えるGPT-6.1 Solや、大量処理向けLunaをそろえ、音声APIや研究者10万人への無料開放も発表しました。一方で性能向上とともに価格上昇を指摘する声もあり、実務での評価が待たれます。

続きを読む →

大手メモリ3社が2027年分の生産能力を売り切り、HBMの平均販売単価は前年比121%上昇と予測されました。一方ローカルAIコミュニティでは、2bit推論や1.58bit音声合成など、少ないメモリで動かす工夫が進んでいます。高騰時代の実態と対抗策を整理します。

続きを読む →

Gemini Agentは、コード改修の高速化の先へ進んでいます。公式ドキュメントから、1回のやり取りで10万〜300万トークンを消費する課金モデルと、既定でネットワーク無制限のサンドボックスという安全設計が見えてきました。権限・認証情報・コストの設計を整理します。

続きを読む →

ローカルでQwen3.8-Flash-Next(125B)を動かすStrataが0.2.2に更新。GPUごとにMain/Helper/Offの役割を割り当てる新機能やIntel Arc・Mac対応が加わりました。使用者はIQ4 xs量子化で「昨年の業務用モデル並み」と評しています。

続きを読む →