ローカルAIの話題が、モデル提案から自作RAM、端末内LLMまで広がっています。Gemma 5へのループ型提案や4Bモデルの実行、DDR5改造、訓練計算量15%削減などが素材にありました。何が今試されているかが見えます。
タグ: Gemma
依存ゼロ・2.6MBのJARで動くJVM推論、llama.cppに挑む
依存ライブラリ不要の2.6MB JARだけでAI推論を動かすJVM向けスタックが、Hacker Newsで話題になっています。作者はCPU上でllama.cppに匹敵すると述べ、ModelJarsやJInferなど周辺整備も進みます。一方で第三者実測は乏しく、検証の進み方が注目点です。





RECENT COMMENTS