「llama.cppより速い」——そんなうたい文句の新プロジェクトが、Hacker Newsに現れました[1]。注目したいのは単発の話題性だけではありません。llama.cppが「比較の基準」として扱われる一方で、その周囲でスマホやJVMという新しい舞台の試みが同時に動き出している点です。
まずJVM側から見ていきます。Quixotic AIというプロジェクトは、AI推論に必要な一連の機能をJVM(Javaの実行環境)だけで動かそうという試みです。投稿者自身のコメントによると、性能はすでにCPU上でllama.cppと「競争力がある」レベルで、APIもシンプルで使いやすく作られているといいます[3]。スタック全体は、依存ライブラリなしの2.6MBのfat JAR(実行に必要な中身を1つにまとめたファイル)に収まります。各コンポーネントは単体でも使える設計で、Gemma 4、Qwen 3.5+、LFM 2.5といった最新のオープンモデルに対応するとのことです[3]。
スマホの舞台も、手順が具体化してきました。llama.cppをAndroidで動かすチュートリアルが2025年版に更新され、QualcommのAdreno GPUをOpenCL(GPU向けの共通インターフェース)で動かす手順がまとめられています[2]。検証機はSnapdragon 8 Eliteと16GB RAMを積むOnePlus 13です。llama-cpp-pythonからカスタムビルドのllama.cppを呼び出す構成で、Android端末だけで大規模な推論評価ができるといいます[2]。作業にはTermuxというAndroid用のLinux環境を使います。F-Droid経由での導入が案内され、Google Playストア版は避けるようにと注意書きもあります[2]。推奨はSnapdragon 8 Gen 1以降と12GB超のRAMで、ビルドにはUbuntuやMacのPCがあると安心ですが、仮想マシンでも足りるとされています[2]。
そして、素材をつなぐ話題が「BigMoeOnEdge」です。llama.cppの上に層を重ねる形で、巨大MoE(複数のエキスパートネットワークを使い分けるモデル構造)をスマホとノートPCでストリーミングのように動かす試みです[4]。以前この連載で取り上げた、巨大MoEをディスクから流す実装(概ね2倍の速度向上が報告されていました)や、8GBのGPUで35Bモデルを動かした実機での検証と同じ方向の動きです。壁だったのは重みの「置き場所」でした。その攻め方の舞台が、PCからスマホへ広がってきたようです。
周辺を見渡すと、llama.cppがローカル推論の共通の物差しになっているようすもうかがえます。「Ollama vs vLLM vs llama.cpp」と題したローカル推論の比較記事[7]をはじめ、MoEのエキスパートをCPU側に置く指定(–n-cpu-moe)とストリーミングを解説する記事[6]、大規模MoEの推論性能を最適化するガイド[6]、推論速度のベンチマーク集が公開されています。どれもllama.cppを比較や解説の中心に置いた内容で、ローカルで動かす選択肢が増えた分、比較への需要も高まっているようです。
ただし、熱気には温度差もあります。JVMスタックの見出しは「faster than llama.cpp」ですが、投稿者自身のコメントは「CPU上でllama.cppと競争力がある」と、一段控えめな表現です[1][3]。両投稿の反応は2ポイント・コメント1件と、1ポイント・コメント0件。第三者による検証はまだほとんど蓄積していません[1][4]。BigMoeOnEdgeの紹介ページも、料金や詳細な条件は未確認で、レビューはまだ1件も付いていません[5]。新実装の速度を示す具体的な比較数値は、素材には見つかりませんでした。主張と実証の間に隙間があるのは、まだ発展途上であることの表れかもしれません。
それでも方向性ははっきりしています。llama.cppは「速さを競う相手」であり、「機能を借りる土台」であり、「スマホで動かすための教材」でもあります。巨大MoEを身近な機器で動かす流れは、ディスクからスマホへと舞台を広げてきました。うたい文句の速さが数値で裏付けられるかどうかが、次に注目したい点です。
引用ソース
- Hacker News Hacker News: Local inferencing in one JVM JAR, dependency free, faster than llama.cpp — https://qxotic.ai/
Local inferencing in one JVM JAR, dependency free, faster than llama.cpp
- Web記事 記事全文: GitHub – JackZeng0208/llama.cpp-android-tutorial: llama.cpp tutorial on … — https://github.com/JackZeng0208/llama.cpp-android-tutorial
– 09/08/2023: First version of llama.cpp android tutorial is available
– (NEW!) 04/27/2025: 2025 version of tutorial is available
– Also including llama-cpp-python + custom-built llama.cpp tutorial
– Deploying llama.c - HNコメント HNコメント: cal inferencing in one JVM JAR, dependency free, faster than llama.cpp — https://news.ycombinator.com/item?id=50223693
Quixotic AI is a serious attempt to bring an end-to-end AI stack to the JVM. Performance is already competitive with llama.cpp (on CPUs), the APIs are crafted to be simple and easy to use. Every component in the stack ca
- Hacker News Hacker News: Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop — https://github.com/Helldez/BigMoeOnEdge
Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop
- Web記事 記事全文: A layer on top llama.cpp enabling big MoE streaming on phone and laptop … — https://www.toolcenter.ai/en/tools/a-layer-on-top-llama-cpp-enabling-big-moe-streamin
Pricing
Detailed plans have not been confirmed in our catalog. Check the official website for current limits and billing terms.
Visit Website
Prices and limits may change. Confirm the currency, billing period, seat minim - Web記事 Web検索: Guide to optimizing inference performance of large MoE models across … — https://gist.github.com/DocShotgun/a02a4c0c0a57e43ff4f038b46ca66ae0
Guide to optimizing inference performance of large MoE models across …
- Web記事 Web検索: Local Inference Benchmark (July 2026) — Ollama vs vLLM vs llama.cpp … — https://plugsky.com/local-inference-benchmark
Local Inference Benchmark (July 2026) — Ollama vs vLLM vs llama.cpp …
- Web記事 Web検索: llama.cpp’s MoE Expert Offload: –n-cpu-moe and Streaming, Explained — https://www.shawnmayzes.com/ai-engineering/llama-cpp-moe-expert-offload-explained/
llama.cpp’s MoE Expert Offload: –n-cpu-moe and Streaming, Explained
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS