JVMだけで動く推論スタック「Quixotic AI」が、依存ライブラリなし・2.6MBのJAR1つに収まり、CPUではllama.cppに匹敵すると作者が主張しています。モデルを依存関係として配るModelJarsの規約も動き出しました。ただし注目はまだ小さく、第三者の実測は待たれる状況です。
JVMだけで動く推論スタック「Quixotic AI」が、依存ライブラリなし・2.6MBのJAR1つに収まり、CPUではllama.cppに匹敵すると作者が主張しています。モデルを依存関係として配るModelJarsの規約も動き出しました。ただし注目はまだ小さく、第三者の実測は待たれる状況です。
RECENT COMMENTS