Qwen3.8-27Bの重み9か所を書き換えた実験モデルです。GPQA Diamondで+4.3、LiveCodeBench v6で+13.0、思考トークンは27〜54%減ったと報告されています。対照実験と量子化の限界が要点です。
タグ: Qwen3
続・Abliterated Strata、実測と評価の分岐
Abliterated Strataは、Flash 125Bをローカル推論で動かす話から、ベンチマークと実測の読み分けへ移っています。70トークン/秒や2x RTX 3060などの構成、多言語評価が加わり、速さだけでは決まらない実用性が浮かびます。
続・Qwen3.5-0.8Bの微調整、ローカルで実用域へ
Redditでは、Qwen3.5-0.8Bを微調整して英語からbashコマンドを生成する試みが話題です。471件の評価では、微調整版が79.4%、未調整版が14.9%でした。ローカル実行に必要なVRAMや注意点もわかります。
続・Abliterated Strata:拒否除去とローカル推論の落とし穴
Abliterated Strataは、Qwen3.8-Flash-Nextの拒否除去版をStrataで動かす流れです。76.14GBのIQ3_XXSや多言語評価の課題から、ローカルAIの利点と落とし穴が浮かびます。
続・Qwen3.8-27Bの量子化、KVキャッシュで効く線引き
Qwen3.8-27Bの量子化で、8bit KVキャッシュはほぼ品質を落とさずメモリを半分にできるという実測が話題です。4bit重みはタスクによって持ちこたえ、1bitは崩れるという報告もあります。AI推論の速度とVRAMの落としどころを続報で整理します。
続・Qwen、ローカル実行と評価の落差を追う
Qwen3.8系の公開とローカル推論が同時に進み、Strataとllama.cppの速度差や27Bの評価と不満が話題です。API版の拡充やAIバブル関連語も加わり、実運用では速さと安定を自分の構成で測る必要があり、分かれ目が見えます。
続・Qwen3.8 Flash-Next、RTX 5080で実測と推定の差
Qwen3.8 Flash-Nextのローカル推論で、RTX 5080と64GB RAMの構成が話題です。実測はエージェント作業で平均195.6トークン/秒、prefill約5700トークン/秒と報告されました。27Bの推定速度や不満もあり、構成とエンジン次第で評価が分かれています。
続・UnslothのQwen3.8、V3.1で精度15%向上
UnslothがQwen3.8-Flash-NextのGGUFをV3.1に更新し、15%高い精度をうたう。26.2Bトークンのベンチやengram容量、ローカル実行のRAM目安が話題です。XトレンドではChatGPTImages2.6やAI暴走も上がります。
続・Qwen3.8-Flash GGUF、ローカル推論の精度と速度
UnslothがQwen3.8-Flash-NextのDynamic v3.1 GGUFを公開し、DeepSWEなどで10〜15%の精度向上を主張しました。125B MoEモデルを32GB以上のRAMでローカル推論できる点と、量子化の選択肢が注目されています。
続・Qwen3.8 GGUF V3.1、量子化精度とローカル実行
UnslothがQwen3.8-Flash-NextのDynamic V3.1 GGUFを公開し、GSQ-RCO比で10〜15%の精度向上を主張。26Bトークン超の検証や量子化切替が話題で、ローカル実行の目安も追います。













RECENT COMMENTS