圧縮の勝負は、速さより「ズレ」です。Qwen3.8-27Bを自分のPCで推論するとき、量子化（重みを圧縮してメモリを減らす仕組み）の精度が話題になっています。注目されるのはKLD（元のモデルとの出力分布のズレ、小さいほど忠実）です。以前取り上げたQwenputerの話題は、重みの中に計算機を埋める実験でした[3][5][5][5]。今回は、AIモデルを軽く・正確に動かす検証が中心です。
Redditでは、yeasahのEXL3量子化がKLD平均0.0002と報告されました[1]。重みは18.8GiBのVRAMに乗り、ファイルサイズは23GBです。同じ表では、Unslothの8bit系が0.0005で31.5GB、Minachistの8bit系が0.00056で36.9GB、turboderpの6bit系が0.0006で23GBでした[1]。ファイルサイズが同じでも、KLDは2倍違います。
GitHubでは、malaiwahがQwen3.8-27BのEXL3圧縮を検証しています[2]。層ごとにビット数を混ぜた構成で、KLD平均0.003210を記録しました。公式の8bit浮動小数点版の0.005294より39%低く、常駐重みは71%で済みます。保持した5,120件の文脈のうち5,105件で上回ったとされます[2]。さらに良いビルドでは0.002760、容量を寄せた別構成では0.001634という値も出ています[2]。この検証は5,120文脈×2,047位置、約1,048万位置を採点し、842の元クラスタから作られています。校正データと前の検証で使ったトークンを除いた条件です[2]。同じレシピの再変換では、量子化モジュールの97.6%がバイト単位で違っても、スコアはほぼ同じでした[2]。
別のHugging Faceでは、quark75が約3bitのEXL3を公開しています[4]。線形層を3bit、出力層と視覚部分を6bit、補助ヘッドを4bitにしています。元のモデルで約54GBだった重みが、約13GBまで減ります。画像と言葉を扱えるモデルです。校正データは256行×2048列です。評価は校正データだけでなく、保持したテストでperplexity（予測のしやすさを示す指標）とKLDを見ており、元のモデルとほぼ同じperplexityになったと説明されています[4]。
こうした数値は、コミュニティの比較を前提にしています。jedi95はQwen3.8-27BのKLD検証をGitHubでまとめています。数値の比較がしやすくなっています。BestHubには、ハードウェアに合ったGGUF版（llama.cppなどで使う量子化モデルの形式）を選ぶガイドもあります[5]。EXL3は格子状に圧縮する方式を使い、よく使われる別の圧縮方式より低いビット数で耐える設計とされています[4]。
ただし、KLDの値は同じ尺度で並べられるとは限りません。Redditの0.0002と、GitHubの0.003210は、評価データや重みの置き方が違う可能性があります。malaiwahの検証では、unslothの4bit形式が0.031059で、5,120件すべてで負けたと報告されています[2]。一方、容量を寄せた構成と別の6bit系は、それぞれ別のエンジンで測られており、条件が違います[2]。別の外部評価手順でも、同じ順序が再現されたとしています[2]。数字の大小だけでは、単純に優劣は決められません。
実機検証も進んでいます。malaiwahの検証はRTX 5090で確認し、メモリ使用率を0.955に設定して約26.5万トークン分の中間状態（生成時に覚えるデータ）を確保したとあります[2]。ただし別の5090では0.956が必要で、設定はカードごとに違うようです。重みの中に計算機を埋めるQwenputerも、同じ流れの一部です。RISC-V（オープンな命令セット）の32bit計算機をQwenの重みの中に作り、内部で命令を実行できるという実験です[3][5][5][5]。ツール呼び出しやコンピュータ操作への示唆があります。
Qwen3.8-27Bの話題は、単に軽くする話ではなくなりました。KLD、VRAM、ファイルサイズ、評価条件までセットで見ないと、どの量子化が良いか分かりません。RTX 5090のような実機検証や、KLD比較の公開が進むことで、ローカル推論の選び方はもっと細かくなりそうです。
引用ソース
- Reddit Reddit r/LocalLLaMA: yeasah/Qwen3.8-27B-exl3 quants – lowest KLD of 0.0002 — https://www.reddit.com/r/LocalLLaMA/comments/1xi9ctj/yeasahqwen3827bexl3_quants_lowest_kld_of_00002/
yeasah/Qwen3.8-27B-exl3 quants – lowest KLD of 0.0002
- Web記事 記事全文: GitHub – malaiwah/qwen38-27b-exl3: EXL3 mixed-precision quantization of … — https://github.com/malaiwah/qwen38-27b-exl3
Status 2026-08-16: the collection is hardware-qualified, the comparator set is measured, and
the method is now reproducible from published artifacts. The current checkpoint is
malaiwah/Qwen3.8-27B-EXL3-K5K6:
mean KLD 0.0 - Reddit Reddit r/LocalLLaMA: Someone built a 32-bit RISC-V CPU directly inside Qwen’s model weights so it can execute instructions internaly! — https://www.reddit.com/r/LocalLLaMA/comments/1xhmo1q/someone_built_a_32bit_riscv_cpu_directly_inside/
Someone built a 32-bit RISC-V CPU directly inside Qwen’s model weights so it can execute instructions internaly!
- Web記事 記事全文: README.md · quark75/Qwen3.8-27B-EXL3-3.0bpw at main — https://huggingface.co/quark75/Qwen3.8-27B-EXL3-3.0bpw/blob/main/README.md
Download README.md from quark75/Qwen3.8-27B-EXL3-3.0bpw: direct link, hf CLI and curl.
– Browser
– Download file 2.32 kB
– https://huggingface.co/quark75/Qwen3.8-27B-EXL3-3.0bpw/resolve/main/README.md
– Command line
– hf - Web記事 Web検索: GitHub – divagr18/qwenputer: A computer, compiled into the weights of a … — https://github.com/divagr18/qwenputer
GitHub – divagr18/qwenputer: A computer, compiled into the weights of a …
- Web記事 Web検索: A developer compiled a working RISC-V CPU into a 4B parameter model’s … — https://startupfortune.com/a-developer-compiled-a-working-risc-v-cpu-into-a-4b-parameter-models-weights/
A developer compiled a working RISC-V CPU into a 4B parameter model’s …
- Web記事 Web検索: Qwen3.8-27B Quantization Selection Guide: Match Your H… | BestHub — https://www.besthub.dev/articles/qwen3-8-27b-quantization-selection-guide-match-your-hardware-to-the-right-gguf-version-d0090eaae45d
Qwen3.8-27B Quantization Selection Guide: Match Your H… | BestHub
- Web記事 Web検索: The Computer Inside AI: Qwenputer’s RISC-V CPU in Qwen3.5 Weights — https://www.youtube.com/watch?v=6NRCwCz30_Q
The Computer Inside AI: Qwenputer’s RISC-V CPU in Qwen3.5 Weights
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS