llama.cppにQSA融合演算のPRが登場、スパースアテンションを高速化へ

「そろそろllama.cppを更新するタイミングです」。Redditのr/LocalLLaMAで、こんな一言とともに話題になったのが、QSAマスク向けの新しい融合演算(fused op)を追加するプルリクエストです[1]。変更の作者はam17anさんで、対象はggml-org/llama.cppのPR#30640です[1]。ローカル推論コミュニティでは、速さをそのまま左右する変更として注目が集まっているようです。

QSAという略称が何を指すのかは、素材からは確認できません。ただ投稿では「スパースアテンションモデル」の高速化と明確に結び付けられています[1]。スパースアテンションとは、注意計算(トークン同士の関連度を調べる処理)を、重要な部分に絞って行う手法です。そのマスク(どこを計算対象にするかの判定)を独立した演算にせず、別の処理とまとめて1つにするのが、今回の変更のようです。アテンション周りはFlashAttentionに代表されるように最適化の主戦場で、今回の変更もその流れの1つと考えられます。

背景にあるのは、llama.cppの仕組みです。llama.cppはggmlというライブラリの上に作られた推論エンジンです[3]。依存ライブラリなしの純C/C++で動き、「最小のセットアップで最先端の性能」を目標に掲げます[3]。推論の処理は計算グラフとして組み立てられ、ここに最適化の余地がたまります。融合演算(フュージョン)は、複数の小さな演算を1つにまとめ、中間結果をメモリに書き出して読み戻す往復を減らす手法です。解説記事では、バックエンドのスケジューリングやメモリ割り当てと並ぶllama.cpp内部の重要トピックとして扱われています[4]。別の解説記事も、計算グラフの最適化を「推論加速の5大戦略」として紹介しています[5]。

この最適化が大変なのは、対応ハードウェアの広さです。Apple SiliconにはARM NEONやAccelerate、Metalを活用し、第一級の対応対象です[3]。x86ではAVX/AVX2/AVX512/AMX、RISC-VではRVVにも対応します[3]。GPUも幅広く、NVIDIA向けの独自CUDAカーネルに加え、AMD GPU(HIP経由)やMoore Threads(MUSA経由)にも対応します[3]。Vulkan、SYCL、さらにVRAMに収まらないモデルを分割するCPU+GPUハイブリッド推論まで備えます[3]。量子化(精度を落として軽くする技術)も1.5〜8ビットと選択肢が豊富です[3]。この多様な環境のどこでも速く動かすには、op単位の地道な改良が欠かせません。

こうした流れを象徴するのが、NKU-EmbeddedSystemの「llama-op-opt」というリポジトリです[2]。名前の通りop(演算)の最適化に絞ったプロジェクトです[2]。RoadmapやProject status、Manifestoを公開し、LLaMA系からQwen、Gemma、Mambaまで幅広いモデル対応をうたっています[2]。本体のllama.cpp[3]とは別にop最適化に特化した動きが生まれているのは、この分野への関心の高さを示していると思われます。検索結果でも両リポジトリが並んで顔を出しており、注目度がうかがえます。

ユーザー側の入り口も整っています。導入方法はインストールスクリプトやDocker、ビルド済みバイナリと複数あります[3]。llama cli -hfコマンド一つで、Hugging Faceからモデルを取得して実行もできます[3]。OpenAI互換のAPIサーバーを立てるllama serveも標準機能で、画像を扱うVLM(視覚言語モデル)にも対応しています[3]。周辺ツールも充実しており、VS CodeやVim向けの補完プラグイン、GGUF編集ツールなどが公開されています[2]。導入から実行までの流れは、中国語の詳細チュートリアルにもまとめられています[4]。つまりopレベルの改良は、ユーザーがリリースを追いかけるだけで自然に届くわけです。

しかし、喜ぶ前に確認すべき点があります。まず、今回の素材にはQSA融合opの具体的な速度比較の数値が見つかりませんでした。「another speedup」という表現から高速化自体は示唆されますが、どれくらい速くなるのかは現時点では不明です[1]。効果があるのもスパースアテンションモデルに限られるため、通常のモデルに同じ恩恵があるとは素材からは言えません[1]。さらにPRは提案段階であり、マージ状況やリリース時期も素材からは確認できません[1]。融合opはバックエンドごとのスケジューリングやメモリ割り当てと深く絡むため、実装・検証の負担も増えやすいと考えられます[4]。

とはいえ、方向性は明快です。llama.cppの速さは、一発の大発明ではなく、計算グラフとopの積み重ねた最適化から生まれています[4][5]。こうした改良の積み重ねは、ハッカーカルチャー的なコミュニティの知恵の集積とも言えます。融合opのような変更は、ユーザーが更新するだけで恩恵を受けられる点が嬉しいところです。使い方の解説記事も増えてきており[4]、スパースアテンションモデルをローカルで動かしている人は、次のリリースをチェックする価値がありそうです。スパースアテンションと融合opの組み合わせが、ローカル推論の次の一段を引っ張っていくかもしれません。