RTX 3090でDeepSeek Flashを動かす試みです。Delta推論エンジンv0.93は192GB RAMで41 tok/s、64GB RAMでも使えると報告されています。品質は99問で52問から57問に改善し、入口がRAMと量子化へと広がりました。

続きを読む →

DeepSeek V4.1 Flash の 763B モデルが、1bit/パラメータ相当の圧縮版で公開されました。同時に、V5 を Huawei Ascend で事前学習する計画が報じられ、AI の効率とチップ供給の両面で動きが出ています。

続きを読む →

StrataでDeepSeek V4.1 Flashをローカル実行する際、エージェント起動のprefill待ちが約100秒になる問題が注目されました。RedditではKV spliceなどの修正で20倍の高速化が報告され、生成速度だけでなく起動待ちも課題です。

続きを読む →

DeepSeekのflash系APIが10月中旬に静かに差し替えられ、ある利用者のコーディングエージェントで悪態3倍、モデル切替6.7倍になった報告です。推論品質の再現性、データ所在、AIエージェント運用の課題が、この記事から読み取れます。

続きを読む →

オープンウェイトAIの評価が揺れ、代替リーダーボードやローカル実行が注目されています。Ling 3.1 Flashは65.5点、816BのMuse Spark Openなど具体数値から、実用と信頼の課題を整理します。

続きを読む →

ISTA-DASLabの2bit量子化版DeepSeek-V4.1-Flashは、テンソルごとに精度を変える非一様量子化で763Bモデルを12GB GPU1枚で動かします。MLXへの移植も登場した一方、ベンチマーク飽和で劣化が見えず、KLDなどでの検証が課題です。

続きを読む →

DeepSeek-V4.1-Flashの2bit量子化版を巡り、Redditで「ベンチマークが飽和していて劣化を測れない」と検証を問う声が上がっています。IQ2_XXSは元モデルと同等スコア、AIME25は全バージョンで100です。KLDやPPLの実測が待たれる段階です。

続きを読む →

llama.cppにDeepSeek V4.1 Flash対応を追加するPRが投稿され話題に。同モデルは552B(投稿では763B)の巨大MoEで、KVキャッシュが小さく済む新設計です。96GB VRAMのGPU1枚で動かす構成が示されていますが、対応はまだWIPで不具合報告も残ります。

続きを読む →

763BのDeepSeek-V4.1-Flash-1017量子化版で、圧縮の技術詳細が開発元から示されました。GSQが丸め方を学習で決め、RCOがテンソルごとに精度を配分します。1.75〜2.25ビットの3種類に加え、検索テーブルを分離するEngramファイルが12GB GPUでの動作を支えます。

続きを読む →

763BのDeepSeek-V4.1-Flash-1017の量子化版で、テンソルごとに精度を変える非一様量子化の詳細が明らかになりました。GSQとRCOの組み合わせで、IQ1_MからIQ2_XSまで3サイズが公開されています。一方でllama.cppは未対応で、品質主張の検証が課題です。

続きを読む →