UnslothがDynamic V3.1を公開し、Qwen3.8-27BやFlash系で同サイズ比10〜15%精度向上、トークン50%減を主張しています。AIローカル向け1-bit版やアプリ改善も進むが、Redditでは改善幅に疑問の声も出ています。
タグ: Unsloth
続・RTX 3090、RAMと量子化でDeepSeek Flashを回す
RTX 3090でDeepSeek Flashを動かす試みです。Delta推論エンジンv0.93は192GB RAMで41 tok/s、64GB RAMでも使えると報告されています。品質は99問で52問から57問に改善し、入口がRAMと量子化へと広がりました。
続・UnslothのQwen3.8、V3.1で精度15%向上
UnslothがQwen3.8-Flash-NextのGGUFをV3.1に更新し、15%高い精度をうたう。26.2Bトークンのベンチやengram容量、ローカル実行のRAM目安が話題です。XトレンドではChatGPTImages2.6やAI暴走も上がります。
続・Qwen3.8-Flash GGUF、ローカル推論の精度と速度
UnslothがQwen3.8-Flash-NextのDynamic v3.1 GGUFを公開し、DeepSWEなどで10〜15%の精度向上を主張しました。125B MoEモデルを32GB以上のRAMでローカル推論できる点と、量子化の選択肢が注目されています。
続・Qwen-Flash-Next追跡:8GB GPUで70トークン/秒の実測
Qwen4の先行プレビューQwen3.8-Flash-Nextで、ローカル実行の具体的な報告が相次いでいます。総125B・活性約6BのMoE構成を生かし、8GB GPU+24GB RAMで毎秒70トークンなど実測が共有されました。一方で推論系のベンチマークでは苦戦する項目も見えています。








RECENT COMMENTS