llama.cppの話題は、速度より内部構造と量子化の解説へ向かっています。32bitの重みを4bitへ圧縮する仕組みや、GGMLと推論コンテキストの役割が整理されました。単一JARで速いという投稿や周辺トレンドもあり、直接比較の数値は素材にありません。

続きを読む →

「そろそろllama.cppを更新するタイミングです」。Redditのr/LocalLLaMAで、こんな一言とともに話題になったのが、QSAマスク向けの新しい融合演算を追加するプルリクエストです[1]。融合演算とは、複数の演算をまとめて1つにする最適化のことです。作者はam17anさん。対象はggm […]

続きを読む