ISTA-DASLabの2bit量子化版DeepSeek-V4.1-Flashは、テンソルごとに精度を変える非一様量子化で763Bモデルを12GB GPU1枚で動かします。MLXへの移植も登場した一方、ベンチマーク飽和で劣化が見えず、KLDなどでの検証が課題です。

続きを読む →

llama.cppに、QwenモデルのGGUF変換時にテンソルを統合するPRが登場し、Redditで話題になっています。マージされれば既存GGUFの作り直しが必要になる一方、速度やメモリへの効果はまだ未確定です。変換の仕組みと、ローカル推論への影響を解説します。

続きを読む →

llama.cppに、QwenモデルのGGUF変換時にテンソルを統合するPRが投稿され、r/LocalLLaMAで話題になっています。変換スクリプトqwen.pyは1046行の大型ファイルで、既存GGUFの作り直しを促す可能性があります。速度などの比較数値は素材からは確認できませんでした。

続きを読む →

llama.cppに、QwenモデルのGGUF変換時にテンソルを統合するPRが投稿され、Redditで話題になっています。既存GGUFの作り直しが注目点です。記事ではPRの内容と、Qwenの規模、ローカル実行をめぐる動き、再変換の落とし穴を整理します。

続きを読む →

GPTQを生んだISTA-DASLabが、763BのMoEモデルDeepSeek-V4.1-Flashをテンソルごとに精度を変えて圧縮するGSQ-RCO量子化を公開。最小1.75bpwで、Strataとの組み合わせにより12GB GPU1枚での推論が可能です。ただし2bitでの品質を測るKLDの実測を求める声も上がっています。

続きを読む →

763BのDeepSeek-V4.1-Flash-1017量子化版で、圧縮の技術詳細が開発元から示されました。GSQが丸め方を学習で決め、RCOがテンソルごとに精度を配分します。1.75〜2.25ビットの3種類に加え、検索テーブルを分離するEngramファイルが12GB GPUでの動作を支えます。

続きを読む →

脱獄したPS5でllama.cppを動かし、GGUFモデルを本体で実行する「PS5LM」が話題です。PS5 SlimのGPUでは0.8Bが約207トークン/秒、27Bも約20トークン/秒で動き、OpenAI互換APIも備えます。脱獄が前提で、Sonyの対応やコスパをめぐる議論もあります。

続きを読む →

自作LLM推論エンジンの挑戦が多様化し、ブラウザ内で量子化モデルを動かす試みや、純Python+NumPyだけの実装が登場しています。一方で期待200に対し20トークン/秒しか出ない壁や「llama.cppを使うべき」との声もあり、学習手段としての価値と実用の壁が同時に見えてきます。

続きを読む →

Liquid AIのMoEモデルLFM2.5-24B-A2BがGGUFで公開され話題に。公式はエージェント評価LiveClawで48.09とQwen3.6-35B-A3B超えを主張する一方、Redditでは実行環境次第でループや低品質の報告も。コミュニティ計測は平均61.2トークン/秒・品質69.6で、コーディング37.3という弱点も見えました。

続きを読む →