依存ライブラリ不要の2.6MB JARだけでAI推論を動かすJVM向けスタックが、Hacker Newsで話題になっています。作者はCPU上でllama.cppに匹敵すると述べ、ModelJarsやJInferなど周辺整備も進みます。一方で第三者実測は乏しく、検証の進み方が注目点です。
依存ライブラリ不要の2.6MB JARだけでAI推論を動かすJVM向けスタックが、Hacker Newsで話題になっています。作者はCPU上でllama.cppに匹敵すると述べ、ModelJarsやJInferなど周辺整備も進みます。一方で第三者実測は乏しく、検証の進み方が注目点です。
RECENT COMMENTS