GPTQを生んだISTA-DASLabが、763BのMoEモデルDeepSeek-V4.1-Flashをテンソルごとに精度を変えて圧縮するGSQ-RCO量子化を公開。最小1.75bpwで、Strataとの組み合わせにより12GB GPU1枚での推論が可能です。ただし2bitでの品質を測るKLDの実測を求める声も上がっています。
RECENT POST
-
2026.10.25
続・Muse追跡：エージェントの信頼は安全装置で築けるか -
2026.10.25
続報・JAR1つで動くJVM推論エンジン、勝負どころは同時処理 -
2026.10.25
続・OpenAI追跡：13ドルの盗聴器と倫理的ハッキングが映すセキュリティ
RECENT COMMENTS