依存なしのJARでローカル推論を動かすAIスタックがHacker Newsで話題です。作者はCPUでllama.cppと競合する性能と2.6MBのJARを挙げています。ModelJarsではRAG実用ゲートにp95の2秒と10秒が示されています。
タグ: ModelJars
依存ゼロ・2.6MBのJARで動くJVM推論エンジン、llama.cpp超えを主張
JVMだけで動く推論スタック「Quixotic AI」が、依存ライブラリなし・2.6MBのJAR1つに収まり、CPUではllama.cppに匹敵すると作者が主張しています。モデルを依存関係として配るModelJarsの規約も動き出しました。ただし注目はまだ小さく、第三者の実測は待たれる状況です。





RECENT COMMENTS