JVMだけで動く推論スタック「Quixotic AI」が、依存ライブラリなし・2.6MBのJAR1つに収まり、CPUではllama.cppに匹敵すると作者が主張しています。モデルを依存関係として配るModelJarsの規約も動き出しました。ただし注目はまだ小さく、第三者の実測は待たれる状況です。

続きを読む →

llama.cppに、QwenモデルのGGUF変換時にテンソルを統合するPRが投稿され、Redditで話題になっています。既存GGUFの作り直しが注目点です。記事ではPRの内容と、Qwenの規模、ローカル実行をめぐる動き、再変換の落とし穴を整理します。

続きを読む →

Hacker Newsで、依存ライブラリなしのJVM用JAR1つで動き、llama.cppより速いというローカル推論が話題に。llama3.javaやbrewferenceなどの純Java実装がVector APIやGraalVMで性能を上げています。ただし実測数値は乏しく、開発継続の難しさも見えてきました。

続きを読む →

llama.cppのMoEオフロードが進化し、8GBのGPUで35Bモデルを動かした実検証や専用ツール、解説が相次いで登場しました。35Bのうち推論で動くのは約3Bという構造が鍵です。一方、MoEが本当にエッジ推論に役立つのかを問う論文も現れました。

続きを読む →

JARファイル1つで動くJVM製推論エンジンの投稿は、スコア1ポイント・コメント0件で検証を待つ。一方、純Java実装「llama3.java」はVector APIやGraalVM対応など技術の輪郭を見せ、JavaアプリからLLMを扱う「llm4j」も整備が進む。2026年の主要エンジン比較にJVM製の名前はまだ並んでいない。

続きを読む →

llama.cppでFFNのゲート/アップ計算とGLUを1つにまとめるCUDA最適化PRが話題です。DGX SparkではLlama-3.1-8Bのprefill速度が最大10.7%向上、RTX 5090でも数%の改善が報告されました。CUDA Graphsなど周辺の最適化の動きも合わせて解説します。

続きを読む →

RAMに入りきらない巨大MoEモデルをスマホやノートで動かすllama.cpp拡張が、実装と解説の両面で広がっています。BigMoeOnEdgeやllama.moe(zilong)などの道具が登場した一方、実測速度の数値はまだ公開されておらず、検証が今後の焦点です。

続きを読む →

JARファイル1つで動くJVM製推論エンジンの「llama.cpp超え」主張は、Hacker Newsでスコア1・コメント0件のままです。2026年のエンジン比較では単独速度の差は62〜71トークン/秒と小さく、勝負どころは同時処理のスループットです。検証ツールはすでに整っています。

続きを読む →

llama.cppにDeepSeek V4.1 Flash対応を追加するPRが投稿され話題に。同モデルは552B(投稿では763B)の巨大MoEで、KVキャッシュが小さく済む新設計です。96GB VRAMのGPU1枚で動かす構成が示されていますが、対応はまだWIPで不具合報告も残ります。

続きを読む →

1つのJARファイルだけで依存なしに動くJava製ローカル推論エンジンがHacker Newsに投稿され、「llama.cppより速い」と主張しています。JVM上で完結する構成が特徴です。ただし実測値は示されておらず、コメントもない検証前の段階です。

続きを読む →