llama.cppフォークの推論時abliterationエンジンがStrataに移植され、再学習なしで拒否を除いたモデルを動かす動きが出ました。Qwen3.8-Flash-Nextのabliterated版は2bit量子化でRTX 3090を1〜2枚の構成です。ただし品質検証はこれからの段階です。

続きを読む →