Hacker Newsで、依存ライブラリなしの2.6MB JAR 1つでローカル推論ができ、llama.cppより速いと称するJVM向けAIスタックが話題です。作者はCPU上で競争力があると説明しますが、素材には実測数値がありません。Java系推論プロジェクトの現状と検証の課題を解説します。

続きを読む →

依存ゼロ・2.6MBのJARで動くJVM推論エンジンに動きが出てきました。作者はCPU上でllama.cppに匹敵する性能と最新モデル対応を明かしています。周辺ではOllama比2.19倍を主張する新エンジンや、32GBメモリで80BのMoEを動かす手法も現れました。

続きを読む →

llama.cppの上で巨大MoEをスマホやノートに流す拡張がHacker Newsに投稿され、動的に専門家をオフロードする実装も公開されました。専門家をディスクから先読みする方式は約2倍の速度向上が報告されています。ただし注目は限定的で、複数実装が並立する段階です。

続きを読む →

依存ゼロ・2.6MBのJARで動くJVM製推論エンジンが話題です。作者はCPU上でllama.cppに競争力があると説明。一方2026年の比較では、llama.cpp系はVRAMの30〜50%をKVキャッシュで失い、vLLMは高負荷でOllamaの16〜20倍速く、単独利用と同時処理で主役が分かれています。

続きを読む →

ローカル推論ツールllama.cppに、音声機能Pocket-TTSの脆弱性CVE-2026-116096が判明しました。悪意あるmmprojファイルでメモリのはみ出し書き込みが起きる問題で、b11796以降では異常検知で停止します。ただし根本を設計で防ぐ修正はまだ統合されていません。

続きを読む →

依存ライブラリ不要の2.6MB JARだけでAI推論を動かすJVM向けスタックが、Hacker Newsで話題になっています。作者はCPU上でllama.cppに匹敵すると述べ、ModelJarsやJInferなど周辺整備も進みます。一方で第三者実測は乏しく、検証の進み方が注目点です。

続きを読む →

llama.cppに、QwenモデルのGGUF変換時にテンソルを統合するPRが登場し、Redditで話題になっています。マージされれば既存GGUFの作り直しが必要になる一方、速度やメモリへの効果はまだ未確定です。変換の仕組みと、ローカル推論への影響を解説します。

続きを読む →

Hacker Newsで、依存ライブラリなしの2.6MB JAR1つでローカル推論が行えるJVM向けAIスタック「Quixotic AI」が紹介されました。作者はCPU実行でllama.cppに競争力があると説明します。本記事では純Java推論の流れ、エンジン間の速度競争、速度主張の裏付けの現状までを整理します。

続きを読む →

llama.cppに、QwenモデルのGGUF変換時にテンソルを統合するPRが投稿され、r/LocalLLaMAで話題になっています。変換スクリプトqwen.pyは1046行の大型ファイルで、既存GGUFの作り直しを促す可能性があります。速度などの比較数値は素材からは確認できませんでした。

続きを読む →

Hacker Newsで、llama.cppの上に層を重ね、スマホやノートPCで大きなMoEモデルをストリーミング推論する試みが紹介されました。8GBのノートPC GPUで35Bモデルを動かした報告もあり、小さい端末で大きいモデルを動かす動きが集まっています。評価はまだこれからです。

続きを読む →