「AI龍我」(ai)というX上のトレンドも出ていますが、GGUFの話題は量子化版の公開に集まっています。前回のflash系の記事ではQwen3.8-Flash GGUFを見ましたが、今回はXing4.0-29B-A4Bです。bartowski氏がHugging FaceにGGUF版を公開し、Redditでも「新しい29B MoEを試す？」と話題になっています[1][3]。
Xing4.0-29B-A4Bは、総パラメータ29Bのうちトークンごとに4Bだけ動かすMoEです。MoEは専門家を集めたような仕組みで、毎回すべての重みを使いません。開発元は中国電信のAI技術会社で、Ascend NPUとMindSporeで訓練された点が特徴です。Ascend NPUはAI専用チップで、MindSporeは学習用フレームワークです。256Kコンテキストを備え、512Kまで拡張できるという設計で、多段の計画やツール呼び出しを支えるとされています。検索結果では、24GB以上のVRAM(GPUのメモリ)という見出しも話題になっていました[8]。
ここで効いてくるのがGGUFです。GGUFは、重み、文章をトークンに分解する情報、モデルの構造情報を1ファイルにまとめる形式で、GGMLの後継です。OllamaやLM Studioなどローカル推論アプリの土台となり、ファイルを直接参照して素早く読み込めます[2][6]。Hugging FaceでもGGUFが重要な形式として扱われ、177B級のQwen3.8-Flash-Next-GGUFのような大型版も並びます[2]。
量子化の選び方は、以前より具体的になっています。llama.cppの参考データでは、7B級の密なモデルで推奨される中間量子化(Q4_K_M)は3.80GBで、perplexity(出力の迷いやすさ、低いほど良い)の増加は+0.0535です。一方、旧型の4bitは3.50GBで+0.2499でした[4]。参考データはQwen2.5-7BやLlama-3.1-8Bで示されています[4]。サイズは少し増えますが、精度の落ち込みが小さいため、この中間型が推奨されています。
GGUFには旧型、中間型、超圧縮向けの3系統があります。中間型は重要な部分だけ精度を上げる工夫を使い、超圧縮向けは重要行列(どの重みを大事にするかを示す表)で重みごとに精度を調整します[6]。自分のデータで重要行列を作る手順も、ガイドに載っています[2][7]。重要行列の作成には幅広いテキストが良いとされています[6]。70Bモデルは、元の精度で140GBを要する例でも、4bitなら40GB程度に縮むとされています[5]。VRAMに余裕があれば高品質な中間型を選び、極端に小さい型は避けるべきとされています[5]。AWQやGPTQといった別形式は、サーバー向けや調整向けとされ、CPUやローカル実行ならGGUFが手軽です[5]。
llama-serverはOpenAI互換のAPIを提供できます。コンテナやクラスタでの運用も解説されています[6]。ハッカー的な試行錯誤はできますが、注意も必要です。Apple Siliconでは中間型、NVIDIAでは載せられる最大の量子化、CPUでは速度重視なら旧型、品質重視なら中間型が挙げられます[6]。llama.cppには安定版のセマンティックバージョン番号がなく、ビルド番号で追います[4]。速度はGPU、ドライバ、ビルド、コンテキスト長で変わるため、単一のTPS(1秒あたりのトークン数)は出せません[4]。
Xing4.0のGGUFは出ていますが、発表資料では具体的なTPSや消費電力の実測値は明らかにされていません。24GB以上のVRAMという見出しはありますが、どの量子化で何トークン/秒かは書かれていません[8]。以前取り上げたStrix Haloの実測とは条件が違い、直接比較できません。
現在のところ、GGUFはMoEモデルをローカルで試す入口として有力です。まず中間型から置き換え、自分のデータで重要行列を作り、手元のビルドで測るという手順が、大型モデルを自分のマシンに載せる近道になりそうです。
引用ソース
- Reddit Reddit r/LocalLLaMA: bartowski/XingChen-AGI_Xing4.0-29B-A4B-GGUF · Hugging Face — https://www.reddit.com/r/LocalLLaMA/comments/1xplkdu/bartowskixingchenagi_xing4029ba4bgguf_hugging_face/
bartowski/XingChen-AGI_Xing4.0-29B-A4B-GGUF · Hugging Face
- Web記事 記事全文: GGUF Quantization Guide: Shrink LLMs 72% [2026] — https://tech-insider.org/gguf-model-quantization-2026/
Every time a new open-weight model drops, the same bottleneck shows up a few hours later: the safetensors checkpoint is enormous, your GPU has 12GB or 16GB of VRAM, and the model card offers no guidance on how to shrink
- X Xトレンド: AI龍我 — https://trends24.in/japan/
AI龍我
- Web記事 記事全文: llama.cpp Quantization Benchmark: Verified GGUF Data (2026) — https://markaicode.com/benchmarks/llamacpp-inference-benchmark/
Quick Answer: Across llama.cpp’s own quantization reference data for a 7B-class dense model, Q4_K_M sits at the trade-off sweet spot — roughly 3.80 GB with a perplexity increase of only +0.0535, far better quality-per-by
- Web記事 記事全文: LLM Quantization Guide 2026 — GGUF vs AWQ vs GPTQ — https://singularitymoments.com/llm-quantization-gguf-awq-gptq-guide/
LLM Quantization Guide 2026 — GGUF vs AWQ vs GPTQ
Quantization reduces LLM model size by representing weights in lower-precision formats: INT4, INT8, or FP8 instead of BF16. A 70B model that requires 140 GB of VRAM at BF - Web記事 記事全文: GGUF Optimization: A Technical Deep Dive (Parts 1 & 2) — https://frutik.github.io/awesome-search/Articles/GGUF-Quantization—A-Technical-Deep-Dive
GGUF Quantization: A Technical Deep Dive
Author: Michael Hannecke (two-part series)
What is GGUF?
GGUF (GPT-Generated Unified Format): flexible key-value metadata format for local LLM deployment. Evolved from GGML (llama - Web記事 Web検索: Llama.cpp GGUF Quantization Guide: Optimize Local LLM Performance (2026) — https://decodesfuture.com/articles/llama-cpp-gguf-quantization-guide-2026/
Llama.cpp GGUF Quantization Guide: Optimize Local LLM Performance (2026)
- Web記事 Web検索: Xing4.0-29B-A4B Text Generation Model: Our Test Answers, 24GB+ VRAM — https://localmodelwatch.tsuchitsuchi.com/en/2026/09/28/xing4-0-29b-a4b-china-telecom/
Xing4.0-29B-A4B Text Generation Model: Our Test Answers, 24GB+ VRAM
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS