Quixotic AIが、依存なしの2.6MBのJARでローカルLLM推論を可能にしたと報告しました。CPUではllama.cppと競合する性能を掲げ、JVM単一構成の現実性を示します。一方、実測比較の不足やベンチ環境の整備が課題です。
タグ: InferBench
続:JVM単一JAR推論、ベンチ環境が語る現実
JVM単一JAR推論は、2.6MBの依存なしJARという魅力を持ちます。ただ、速度の主張は同じ条件のベンチで確かめる段階です。InferBenchやllama-benchなど、ローカル推論を測る道具が中心になっています。





RECENT COMMENTS