続・Abliterated Strata、Flashとローカル実行の壁を下げる

125BのAIをゲーミングPCで動かす試みが、また一段階進みました。Abliterated Modelsは、拒否行動を重みから取り除いたオープンウェイトLLMを1,003件、索引に載せており、すべてHugging Faceから無料でダウンロードできます[1]。その中でQwen3.8-Flash-Next系とStrataが注目されています。Strataは、この大型モデルを通常のPCで動かすための実行環境で、Windows/Linuxと12GB以上のGPUを想定し、無料とされています[3]。ハッカー向けAIというより、ローカル推論の実験場と見られているようです。

記事全文: Strata Arabic · AMD · Abliterated - GitHub
画像出典: 記事全文: Strata Arabic · AMD · Abliterated – GitHub

新しい動きは、Strata-Arabic-AMD-Abliteratedというフォークです。これはNiko1221/Strataをベースに、アラビア語のUI、WindowsでのAMD監視、SC117のabliterated GSQ-RCOモデル向けのインストーラ対応を追加しました[3]。セットアップではabliterated系を選択でき、量子化オプションのIQ3_XXSは約76.14GBと記載されており、準備用の空き容量も必要です[3]。ただし、MTP(推論を先読みする仕組み)の層は元モデル由来で、abliteratedではないと明記されています[3]。自動テストはインストールと統合を確認しますが、回答品質や速度が元モデルと一致することは証明しません[3]。

索引に載っているQwen3.8-Flash-Next-abliterated-GSQ-RCO-Strataは、ISTA-DASLabのGGUF版を元にした派生です[2]。GGUFはローカル実行向けの圧縮重み形式で、6リポジトリ、395.8Kダウンロードとされており、文脈長は131Kトークンと記載されています[2]。除去手法はdirectional ablationで、拒否に関わる内部方向を重みから取り除くものだと説明されています[2]。一方、パラメータ数、必要VRAM、ハードウェアクラス、除去範囲は不明です[2]。索引バージョンは2026年10月4日初出、11月14日更新です[2]。Abliterated Modelsでは系統やVRAM、除去方法で検索できますが、このモデルの条件は入力されていません[1]。

ThinkLLMには、RVN Qwen3.8 Flash Next Abliterated Uncensored IQ3 S Strataも掲載されており、掲載元ではQwen3.8Bの派生と説明され、2026年10月公開で、安全フィルタを除去し、IQ3_S量子化でローカル推論向けとされています[4]。IQ3_Sは精度とメモリをトレードオフした量子化の型です[4]。このように、Flash-Next系のabliterated版は、複数の名前と量子化で再配布されているようです。

周辺には、導入と検証のツールも増えています。Strata-Model-Importerは、ワンクリックでモデルを取り込むGUIツールとして紹介されています[7]。GitHubには、RTX 3060を2枚、Xeon E5-2697 v2でのベンチマーク報告があります[5]。GPUに置く層とCPUに置く層を分ける指定が試されているようですが、検索結果のタイトルだけでは数値は確認できません[5]。学術面では、異なるアーキテクチャでアブレーション方法を比較する論文も見つかります[6]。一方、検索には材料科学のablative-materialも混じり、語の多義性に注意が必要です[8]。

ここで重要なのは、実測条件が揃っていないことです。Strataのページでは、RTX 5070でIQ3_S、128K文脈の動画が示されており、RTX 3090 24GBなら約100〜140トークン/秒と書かれています[3]。これはdecode、つまりトークンを1つずつ生成する段階の話です[3]。prefill、つまりプロンプト全体を一括処理する段階については、32Kプロンプトで測るとされています[3]。以前取り上げた実測では、MTP有効でdecode 103〜127トークン/秒、文脈長262144と報告されていました。ただし、量子化やエンジン条件が異なるため、同じ条件での直接比較はできません。

結局、Abliterated Strataは「拒否除去モデルをダウンロードできる」段階から、「AMDや低VRAMでもセットアップして動かす」段階へ移っています[1][3][7]。しかし、パラメータ数や必要VRAM、除去範囲が不明なまま配布されるため、安全評価と実測の空白が残ります[2]。今後の焦点は、どの量子化で、GPUとCPUをどう分担すれば実用になるか、そして品質と安全性をどう検証するかに移ると思われます。

引用ソース

  1. Web記事 記事全文: Abliterated Models — Open-Weight LLMs With Refusals Removed — https://www.abliteratedmodels.org/

    from darkc0de/NVIDIA-Nemotron-3.5-Bolt-E4B-BF16-heretic-3
    Abliterated Models
    Abliterated Models is an index of abliterated AI: open-weight LLMs with refusal behaviour removed from their weights, for security teams.
    Every

  2. Web記事 記事全文: Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata — https://www.abliteratedmodels.org/qwen3.8-flash-next-abliterated-gsq-rco-strata/

    from ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF
    Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata
    Qwen3.8-Flash-Next-abliterated-GSQ-RCO-Strata is a refusal-ablated variant of ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF, pu

  3. Web記事 記事全文: Strata Arabic · AMD · Abliterated – GitHub — https://github.com/almshary/Strata-Arabic-AMD-Abliterated

    English · 简体中文 · 日本語 · Deutsch · Français · Español · Português
    Strata-Arabic-AMD-Abliterated is a fork of Niko1221/Strata, maintained by almshary. It adds an optional Arabic interface, Windows AMD monitoring, and instal

  4. Web記事 記事全文: RVN Qwen3.8 Flash Next Abliterated Uncensored IQ3 S Strata — https://thinkllm.dev/models/rvn-qwen3-8-flash-next-abliterated-uncensored-iq3-s-strata

    RVN Qwen3.8 Flash Next Abliterated Uncensored IQ3 S Strata — ThinkLLM
    RVN Qwen3.8 Flash Next Abliterated Uncensored IQ3 S Strata
    RVN
    Open WeightModel weights are publicly available — can be downloaded and self-hosted
    Rel

  5. Web記事 Web検索: [Benchmark] 2x RTX 3060 (layer split), Xeon E5-2697 v2 without … – GitHub — https://github.com/Niko1221/Strata/issues/3389

    [Benchmark] 2x RTX 3060 (layer split), Xeon E5-2697 v2 without … – GitHub

  6. Web記事 Web検索: Comparative Analysis of LLM Abliteration Methods: A Cross-Architecture … — https://arxiv.org/pdf/2512.13655

    Comparative Analysis of LLM Abliteration Methods: A Cross-Architecture …

  7. Web記事 Web検索: GitHub – adamandama/Strata-Model-Importer: One-click GUI tool that … — https://github.com/adamandama/Strata-Model-Importer

    GitHub – adamandama/Strata-Model-Importer: One-click GUI tool that …

  8. Web記事 Web検索: (PDF) A Short Review of Ablative-Material Response Models and … — https://www.researchgate.net/publication/258490464_A_Short_Review_of_Ablative-Material_Response_Models_and_Simulation_Tools

    (PDF) A Short Review of Ablative-Material Response Models and …

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

関連記事

CALENDAR

2026年11月
日 月 火 水 木 金 土
1234567
891011121314
15161718192021
22232425262728
2930  

ARCHIVES

CATEGORIES