JVM上でLLMを動かす推論エンジンに、ONNX Runtimeを活用する新顔JInferが登場しました。依存ゼロ・2.6MB JARのQuixotic AIはHacker Newsでスコア2まで動いています。ローカルLLM環境が50超に広がる中、Java陣営の手法が二分化しました。
JVM上でLLMを動かす推論エンジンに、ONNX Runtimeを活用する新顔JInferが登場しました。依存ゼロ・2.6MB JARのQuixotic AIはHacker Newsでスコア2まで動いています。ローカルLLM環境が50超に広がる中、Java陣営の手法が二分化しました。
RECENT COMMENTS