依存なしのJARでローカル推論を動かすAIスタックがHacker Newsで話題です。作者はCPUでllama.cppと競合する性能と2.6MBのJARを挙げています。ModelJarsではRAG実用ゲートにp95の2秒と10秒が示されています。

続きを読む →

llama.cppの量子化では、7BモデルでQ4_K_Mが3.80GB、perplexity増加+0.0535と旧型より有利です。速度は環境依存で、ビルド番号やコンテキスト長を揃えた再現ベンチマークが鍵です。Hacker Newsの動向から、ローカルAI推論の落とし穴が見えます。

続きを読む →

llama.cppはローカル推論の基準として、M1 Maxでの5エンジン比較や量子化の品質・サイズ評価で注目されている。JVM単一JARの高速主張やObsidian連携も話題だが、条件違いのため単純な優劣は難しい。

続きを読む →

llama.cppの話題は、速度より内部構造と量子化の解説へ向かっています。32bitの重みを4bitへ圧縮する仕組みや、GGMLと推論コンテキストの役割が整理されました。単一JARで速いという投稿や周辺トレンドもあり、直接比較の数値は素材にありません。

続きを読む →

JVM単一JAR推論は、2.6MBの依存なしJARという魅力を持ちます。ただ、速度の主張は同じ条件のベンチで確かめる段階です。InferBenchやllama-benchなど、ローカル推論を測る道具が中心になっています。

続きを読む →

llama.cppを基準に、MoEのRAM分担やJVM単一JAR推論が話題です。RTX 4090では5〜10%のTPS差、8GB GPUで35Bを動かす設定が具体化しました。ローカルAIの最適セットアップが見えます。

続きを読む →

ローカルモデルを1か月運用した開発者が、コードの品質チェックだけはClaudeを手放せないと告白して話題に。SWE-bench VerifiedではClaude 3.5 Sonnetが49%を解決する一方、5年コストではローカルが約44か月で逆転します。鍵は用途とデータの機密性による使い分けです。

続きを読む →

llama.cppを取り巻く動きが広がっています。依存ライブラリなしの2.6MBのJARで動くJVM推論スタックが、CPU上でllama.cppに匹敵すると主張。AndroidのAdreno GPUで動かすチュートリアルや、スマホとノートPCで巨大MoEを流す拡張も現れました。ただし比較数値は乏しく、検証はこれからです。

続きを読む →

巨大MoEモデルのエキスパートをディスクから直接読み込む推論方式が、llama.cpp周辺で具体化してきました。ルーターとattentionの計算の隙間を先読みに使い、概ね2倍の速度向上が報告されています。実装や検証記事も出そろい、24GBでの96K主張の裏付けも問われ始めました。

続きを読む →

JVMだけで動く依存ゼロの推論スタック「Quixotic AI」がHacker Newsで話題です。全体を2.6MBのJAR1つに収め、CPUではllama.cppに匹敵すると作者が説明。第三者実測はまだなく、vLLMなどランタイム勢の実力比と合わせて検証状況を整理します。

続きを読む →