続・llama.cpp性能改善、再現性のあるベンチが鍵

速さの数字より、測り方が話題になっています。llama.cpp v1.0ではRTX 3090で最大55%速くなったという報告がHacker Newsに投稿されています [1]。環境変数1つでサーバーが最大21%速くなったという話も、同じ場に投稿されています [4]。ただ、その後は「本当に同じ条件で速いのか」を見る動きが強まっています。

llama.cppはローカル推論の定番で、このバージョンではbrewやDockerなど複数のセットアップがあり、CPUとGPUを混ぜて動かす構成もできます [2]。CPUだけでもx86やARM向けの高速化命令を使えます [2]。量子化は重みを圧縮してメモリを節約する仕組みで、1.5ビットから8ビットまで選べます [2]。モデルをHugging Faceから直接実行したり、ブラウザで動かしたりする流れも出ています [2]。

実測の広がりも見えます。llamaperfでは、RTX 5090でQwen3.8 27Bを4ビット寄りの量子化Q4_K_Mで動かし、先読み推論付きで170.7トークン/秒という報告があります [5]。同じRTX 3090では、同じ型の報告が40.0トークン/秒と76.0トークン/秒あります [5]。モデルや量子化、GPUの分担が違うため、単純な順位にはなりません。

記事全文: llama.cpp performance: local LLM benchmarks | llamaperf
画像出典: 記事全文: llama.cpp performance: local LLM benchmarks | llamaperf

持っていない読者にも関係する数字もあります。RTX 5060 Ti 16GBでは、Qwen3.8 125BのMoEモデルを1ビット寄りの量子化で40.6トークン/秒、2枚構成で15.0トークン/秒という報告があります [5]。AMDのStrix Halo 128GBでは、26BのMoEモデルが先読み推論付きで102.0トークン/秒です [5]。ARMのMacでは、M5 Max 48GBでQwen3.5 4Bが135.6トークン/秒、プロンプト読み込みが4,100トークン/秒です [5]。統合メモリやCPU分担が効く場面が見えます。

OpenBenchmarking.orgでは、llama-benchを使う標準プロファイルが公開されています。8Bの蒸留モデルを8ビット量子化したもので、128トークンの文章生成を測り、平均実行時間は2分です [6]。公開結果は27件で、設定を揃えた比較の土台になりそうです [6]。

一方で、速くなるはずの先読み推論が効かない例もあります。RTX 5090でMuse Glimmer 30Bを4ビット寄りの量子化で80.1トークン/秒と測った報告では、DFlashの先読み推論で目に見える高速化はなかったとされています [7]。prefill(プロンプト全体を一括処理する段階)とdecode(トークンを1つずつ生成する段階)は別物で、読み込み速度が高くても会話の速さを保証しません [7]。

Hacker Newsの55%や21%は改善の入口としては強い数字ですが [1][4]、llama.cppの性能はモデルのファイル、量子化、会話の長さ、計算経路、一度に処理する量で変わります [7]。70Bを4ビット寄りの量子化すると約40GBになり、32GBのGPUには入りません [7]。そのため、CPUへの追い出しや分割が必要になります [7]。GitHubや検索結果にも、最適化やベンチの作り方を問う資料が並んでいます [8]。

Xでは「AIドット絵バトルおつ」もトレンド入りし、AI推論の話題がSNSでも見えます [3]。次の主役は派手な%より再現性のあるベンチで、速度を語るならGPU、量子化、設定、コードの版をセットで示すことが大事になります。

引用ソース

  1. Hacker News Hacker News: Llama.cpp v1.0 on an RTX 3090: up to 55% faster with speculative decoding — https://homebrewserver.club/llama-cpp-v1.html

    Llama.cpp v1.0 on an RTX 3090: up to 55% faster with speculative decoding

  2. Web記事 記事全文: Liquid4All/benchmarks-llama.cpp: LLM inference in C/C++ – GitHub — https://github.com/Liquid4All/benchmarks-llama.cpp

    LLM inference in C/C++
    – Hugging Face cache migration: models downloaded with -hf are now stored in the standard Hugging Face cache directory, enabling sharing with other HF tools.
    – guide : using the new WebUI of llama.

  3. X Xトレンド: AIドット絵バトルおつ — https://trends24.in/japan/

    AIドット絵バトルおつ

  4. Hacker News Hacker News: One environment variable made our llama.cpp server up to 21% faster — https://tensward.com/blog/huge-pages-llama-cpp

    One environment variable made our llama.cpp server up to 21% faster

  5. Web記事 記事全文: llama.cpp performance: local LLM benchmarks | llamaperf — https://llamaperf.com/engine/llama-cpp

    llama.cpp results by GPU
    Hardware with reported llama.cpp results, with each report’s model, quant and speed, newest first. Runs on several cards, with speculative decoding, with batched requests or with part of the mode

  6. Web記事 記事全文: Llama.cpp Benchmark – OpenBenchmarking.org — https://mail.openbenchmarking.org/test/system/llama-cpp

    Llama.cpp is a port of Facebook’s LLaMA model in C/C++ developed by Georgi Gerganov. Llama.cpp allows the inference of LLaMA and other supported models in C/C++. For CPU inference Llama.cpp supports AVX2/AVX-512, ARM NEO

  7. Web記事 記事全文: llama.cpp benchmarks: settings, evidence and comparisons — https://www.myaihardware.com/llama-cpp-benchmarks

    llama.cpp benchmarks and evidence
    llama.cpp performance depends on the model artifact, quantization, context, backend and batch size. The earlier fixed comparison table did not link individual run artifacts and has been

  8. Web記事 Web検索: How to Benchmark Inference Performance Using llama-bench in llama.cpp … — https://instagit.com/ggml-org/llama.cpp/how-to-benchmark-inference-performance-using-llama-bench/

    How to Benchmark Inference Performance Using llama-bench in llama.cpp …

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

関連記事

CALENDAR

2026年11月
日 月 火 水 木 金 土
1234567
891011121314
15161718192021
22232425262728
2930  

ARCHIVES

CATEGORIES