JVM 向けに 2.6 MB の JAR だけでローカル推論を試す試みが Hacker News に投稿されました。作者は CPU で llama.cpp と競合する性能や Gemma 4 対応を主張しますが、具体的な比較数値は素材にありません。ローカル推論ベンチの文脈で、どこまで独立検証が必要かが見えます。

続きを読む →

llama.cppを基準に、MoEのRAM分担やJVM単一JAR推論が話題です。RTX 4090では5〜10%のTPS差、8GB GPUで35Bを動かす設定が具体化しました。ローカルAIの最適セットアップが見えます。

続きを読む →

JVMだけで動く依存ゼロの推論スタック「Quixotic AI」がHacker Newsで話題です。全体を2.6MBのJAR1つに収め、CPUではllama.cppに匹敵すると作者が説明。第三者実測はまだなく、vLLMなどランタイム勢の実力比と合わせて検証状況を整理します。

続きを読む →

依存ゼロ・2.6MBのJARで動くJVM製推論エンジンが話題です。作者はCPU上でllama.cppに競争力があると説明。一方2026年の比較では、llama.cpp系はVRAMの30〜50%をKVキャッシュで失い、vLLMは高負荷でOllamaの16〜20倍速く、単独利用と同時処理で主役が分かれています。

続きを読む →

Hacker Newsで、依存ライブラリなしの2.6MB JAR1つでローカル推論が行えるJVM向けAIスタック「Quixotic AI」が紹介されました。作者はCPU実行でllama.cppに競争力があると説明します。本記事では純Java推論の流れ、エンジン間の速度競争、速度主張の裏付けの現状までを整理します。

続きを読む →

JARファイル1つで動くJVM製推論エンジンの「llama.cpp超え」主張は、Hacker Newsでスコア1・コメント0件のままです。2026年のエンジン比較では単独速度の差は62〜71トークン/秒と小さく、勝負どころは同時処理のスループットです。検証ツールはすでに整っています。

続きを読む →

RTX 3090でのローカルAI運用がさらに具体化しました。1.7B〜35Bの59モデルの実測をまとめたガイドでは、32BモデルをGPUだけで動かし、速度は毎秒17〜90トークンに達しています。リバースエンジニアリング用途でのローカル需要も広がりました。

続きを読む →

1つのJARファイルだけで依存なしに動くJava製ローカル推論エンジンがHacker Newsに投稿され、「llama.cppより速い」と主張しています。JVM上で完結する構成が特徴です。ただし実測値は示されておらず、コメントもない検証前の段階です。

続きを読む →

Dotsシリーズの言語モデルdots.llm1の技術報告がarXivで公開されました。128の選択型専門家と2つの共有専門家を持つMoE構成で、ベンチマークでは競争力を示す一方、実行環境で性能が大きく変わる点が注目です。ローカル推論の実測値はまだ素材になく、今後の検証が待たれます。

続きを読む →