「ピーナッツの皮を剥かせるのも信用できない」。こんな辛辣な一文から始まるレビューが、海外掲示板r/LocalLLaMAで波紋を広げています[1]。対象はLiquid AIの新モデル「LFM2.5-24B-A2B」。GGUF形式(量子化した重みを1ファイルにまとめたローカル実行用の形式)で公開されたばかりで、称賛が集中する中に出た実測の不満が、話題を現実寄りに引き戻しています。投稿者は「称賛している人の成果が見たい」とまで書いています[1]。
まずモデルの正体から。総パラメータ24Bのうち、トークンごとに動くのは約2.45BだけというMoEモデルです。MoEは「全部ではなく、選ばれた一部の専門家だけを使って計算する仕組み」で、大きさと速度を両立しやすくなります。LFM2.5ファミリー(230Mから24Bまで展開)の最上位で、学習には36兆トークンが使われました。コンテキスト長は131,072トークンで、日本語を含む16言語に対応します[2]。公式は「常に考えてから答える」推論モデルで、活性が小さいぶん推論トークン1つあたりのコストが安いと説明しています[2]。
公式の主張は強気です。ツールを呼び出して作業するエージェント系タスクの評価LiveClawで48.09を記録し、総・活性パラメータが約5割大きいQwen3.6-35B-A3Bの38.19を上回るとされています[2]。速度もApple M5 Maxで184トークン/秒、NVIDIA B300では最大21Kトークン/秒。端末上では同級のMoEより最大1.7倍速いとも述べています[2]。「より大きなMoEをどう上回るか」を解説する記事も出ています[8]。
では、Redditの投稿者は何をしたのか。まずllama.cppを特定GPU向けに最適化した派生版「llamaampere」で、Q4_K_M(4ビット系の量子化タイプ)のGGUFを実行しました。同じ環境ではQwen3.8 27Bが40〜60トークン/秒で満足に動いていたといいます。ところがLFM2.5-24B-A2Bは簡単なタスクでつまずき、同じ出力を繰り返すループに陥りました。それでもRTX A4500で130トークン/秒は出ています[1]。
投稿者は設定情報も公開して、反論に備える形です。その後、LM Studioに切り替えると挙動が安定し、「正解っぽい」応答が戻ってきたと報告しています[1]。同じGGUFファイルでも、実行エンジンが変われば結果が変わるということです。なお公式が推奨する生成設定は温度0.1など低めで[2]、ループの原因が設定か実装かは、この報告だけでは判断できません。
しかし、コミュニティの計測集計を見ると、評価はさらに割れます。llm-bench.ioの集計(2回の実行)では、平均速度61.2トークン/秒、平均品質69.6。エージェント系は81.9と高い一方、コーディングは37.3にとどまりました。計測の最速はRTX 3070 Tiで、実行コンテキストは32,768トークンに制限されていました[3]。しかも対抗モデルとの比較では、Ornith-1.5-35B-A3B-GGUFが約90.8トークン/秒でコーディング83.8、granite-4.2-8bが約71.6トークン/秒でエージェント92.9と、速度も品質も上回る結果が出ています[3]。
公式ページ自身も「知識中心のタスクには単体で使わず、検索やRAGと組み合わせろ」と明記しています[2]。強みは推論とツール呼び出しに絞られており、万能モデルではないようです。背景には、GGUFの品質が量子化の型や実行環境に左右されるという難しさもあります。量子化の選び方をllama.cppで統一評価した論文[5][6]や、検証済みデータを集めたベンチマーク記事[4][7]が相次いでいるのも、その表れでしょう。
同じGGUFでも、環境次第で「ループ地獄」にも「安定動作」にもなる。これが今回の一連の報告から読み取れる要点だと思われます。量子化の精度を補正するデータを組み込んだ派生GGUFも既に登場しており、選択肢は増える一方です。称賛と失望のどちらにも飛びつかず、自分の環境と用途で試すことが、ローカルLLM活用の基本になりつつあります。
RECENT COMMENTS