たった2.6MBのJARで、ローカルLLM推論を始める試みがHacker Newsに登場しました[1]。投稿では「依存なしのJVM JARで、llama.cppより速い」と紹介されています[1]。JVMはJava仮想マシン、llama.cppはローカル推論エンジンです。作者はQuixotic AIというプロジェクトで、JVM向けのエンドツーエンドAIスタック、つまり推論に必要な部品をまとめて作ったと説明しています[3]。Gemma 4、Qwen 3.5+、LFM 2.5といったモデルに対応し、スタック全体が2.6MBのfat .jar(1ファイルにまとめたJAR)に収まるという点が目玉です[3]。HNでの反応はまだ小さく、2ポイント、コメント1件でした[1]。
この話題の中心は、Javaの単一JARで推論エンジンまで運べるかです。[3]では、APIはシンプルで、各コンポーネントを単独でも使えるとされています。[3]。作者はCPU上でllama.cppと競合する性能だと述べていますが、タイトルにある「faster than llama.cpp」とは言い方が少し違います。[1][3]。
ただし、本当に速いかは別問題です。ローカルLLMの速度は、モデル、量子化、GPU、CPU、RAMで大きく変わります。量子化は重みを圧縮してメモリを節約する仕組みです。[2]では、ワンクリックでセットアップできるInferBenchというツールが紹介されています。[2]。ユーザーはモデルと量子化を選ぶだけで、エンジンバイナリとGGUF(モデルの保存形式)を自動で取得し、TTFT(最初のトークンが出るまでの時間)、tok/s(1秒あたりのトークン数)、VRAM(GPUのメモリ)、品質を測れます。[2]。
実測例として、RTX 3070、VRAM 8GB、RAM 32GBで、SmolLM2-360MのQ8_0をllama.cppネイティブで動かす様子が示されています。[2]。Q8_0は量子化の一種です。[2]。InferBenchはNVIDIA、AMD、Apple Siliconのハードウェア検出も備え、126モデルのカタログを持つとされています。[2]。
こうした比較は、個人ツールにとどまりません。[4]では、コミュニティが実際のハードウェアで測った結果を公開するLocalMaxxingが紹介されています。[4]。GitHubでサインインし、APIキーを作り、CLIやエージェントから結果を送ります。[4]。ベンダー公式の速度ではなく、投稿された実測値だけでリーダーボードを作る点が特徴です。[4]。検索結果にも、InferBenchやlocalarena、OllamaとvLLMとllama.cppの比較、llama.cppの量子化ベンチが並びます。[5][5][5]。
ここで重要なのは、JVM単一JARの主張が、このベンチ環境にまだ組み込まれていない点です。[2]や[4]の素材には、Quixotic AIのJARとllama.cppを同じ条件で比べた具体的なtok/sやTTFTの数値は見つかりませんでした。[2][4]。2.6MBというサイズは導入の軽さを示しますが、推論速度そのものを保証するものではありません。[3]。また、JARが2.6MBでも、モデルの重みは別途必要と思われます。[3]。
もう一つの落とし穴は、JVMの前提です。[1]は「dependency free」と言いますが、JARを実行するにはJavaの実行環境が前提になると思われます。[1][3]。Javaアプリに組み込むなら自然でも、llama.cppのようなネイティブバイナリとの差は残ります。ネイティブバイナリはOSで直接動く実行ファイルです。起動時間やメモリ管理の差は、まだ素材からは読み取れません。[1][3]。
それでも、JVM単一JARの試みは意味があります。Javaのアプリ開発者が、Docker(コンテナ)や複雑なネイティブ依存を増やさずにローカル推論を試せる可能性があります。[2][3]。次の一手は、InferBenchやLocalMaxxingのようなベンチにJVMエンジンが加わり、同じモデル・同じGPU・同じ量子化で比較されることです。[2][4]。そのとき、2.6MBのJARが「軽い」だけでなく「速い」と言えるかが決まります。[1][3]。
引用ソース
- Hacker News Hacker News: Local inferencing in one JVM JAR, dependency free, faster than llama.cpp — https://qxotic.ai/
Local inferencing in one JVM JAR, dependency free, faster than llama.cpp
- Web記事 記事全文: GitHub – JoniMartin27/inferbench: Benchmark local LLM inference speed … — https://github.com/JoniMartin27/inferbench
Descarga, arranca y benchmarkea motores de inferencia LLM locales con un solo click.
Sin Docker obligatorio. Sin tocar la línea de comandos. Tus datos nunca salen de tu máquina.
⭐ ¿Te ahorra tiempo decidiendo qué model - HNコメント HNコメント: cal inferencing in one JVM JAR, dependency free, faster than llama.cpp — https://news.ycombinator.com/item?id=50223693
Quixotic AI is a serious attempt to bring an end-to-end AI stack to the JVM. Performance is already competitive with llama.cpp (on CPUs), the APIs are crafted to be simple and easy to use. Every component in the stack ca
- Web記事 記事全文: LocalMaxxing – Local LLM Inference Speed Tests — https://www.localmaxxing.com/en
01
Sign in & create a key
Sign in with GitHub, then create an API key in your dashboard so the CLI and your agents can submit runs.
Community speed tests for local LLM inference. Track speed, compare hardware, and find y - Web記事 Web検索: GitHub – maziyarpanahi/localarena: Benchmark local and hosted LLMs on … — https://github.com/maziyarpanahi/localarena
GitHub – maziyarpanahi/localarena: Benchmark local and hosted LLMs on …
- Web記事 Web検索: Local Inference Benchmark (July 2026) — Ollama vs vLLM vs llama.cpp … — https://plugsky.com/local-inference-benchmark
Local Inference Benchmark (July 2026) — Ollama vs vLLM vs llama.cpp …
- Web記事 Web検索: llama.cpp Quantization Benchmark: Verified GGUF Data (2026) — https://markaicode.com/benchmarks/llamacpp-inference-benchmark/
llama.cpp Quantization Benchmark: Verified GGUF Data (2026)
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS