RAMより大きいMoEモデルをスマホやノートで動かすllama.cpp拡張が登場しました。既存のオフロード手法は、35Bのうち約3Bだけを稼働させる構造を活かし、8GBのGPUでも17.7GBのモデルを動かせています。新ツールの位置づけと実検証の数値を整理します。

続きを読む →

Hacker Newsで、依存ライブラリなしの2.6MB JAR1つでローカル推論が行えるJVM向けAIスタック「Quixotic AI」が紹介されました。作者はCPU実行でllama.cppに競争力があると説明します。本記事では純Java推論の流れ、エンジン間の速度競争、速度主張の裏付けの現状までを整理します。

続きを読む →

MetaのパーソナルAIエージェント「Muse」は、月20ドルと100ドルの課金プランと広告なし運営を掲げ、取引手数料で稼ぐモデルを採りました。支払いはStripeのLink経由で購入保護が適用され、9月23日にはアバターやmacOS操作など機能拡張も発表。信頼と収益の両立が焦点です。

続きを読む →

2025年型サムスンテレビの追跡を暴いた研究者が、発見拡散から42時間後にOpenAIを追放され、AnthropicのClaudeも解析支援をブロックしました。一方でOpenAI自身は、AIを使った倫理的ハッキングに6500ドルを払っています。AI支援の調査への対応の温度差と、テレビ追跡訴訟の動向を読み解きます。

続きを読む →

llama.cppに、QwenモデルのGGUF変換時にテンソルを統合するPRが投稿され、r/LocalLLaMAで話題になっています。変換スクリプトqwen.pyは1046行の大型ファイルで、既存GGUFの作り直しを促す可能性があります。速度などの比較数値は素材からは確認できませんでした。

続きを読む →

RTX 3080 20GBで、NVIDIAが無効化していたP2PとreBARを有効化する改造が話題です。tensor parallel時のプロンプト処理が70%、prefillが約20%速くなる一方、decodeは変化なしです。RTX 20〜40シリーズへ広がるコミュニティ改造の実力と限界を整理します。

続きを読む →

Hacker Newsで、llama.cppの上に層を重ね、スマホやノートPCで大きなMoEモデルをストリーミング推論する試みが紹介されました。8GBのノートPC GPUで35Bモデルを動かした報告もあり、小さい端末で大きいモデルを動かす動きが集まっています。評価はまだこれからです。

続きを読む →

JVMだけで動く推論スタック「Quixotic AI」が、依存ライブラリなし・2.6MBのJAR1つに収まり、CPUではllama.cppに匹敵すると作者が主張しています。モデルを依存関係として配るModelJarsの規約も動き出しました。ただし注目はまだ小さく、第三者の実測は待たれる状況です。

続きを読む →

llama.cppに、QwenモデルのGGUF変換時にテンソルを統合するPRが投稿され、Redditで話題になっています。既存GGUFの作り直しが注目点です。記事ではPRの内容と、Qwenの規模、ローカル実行をめぐる動き、再変換の落とし穴を整理します。

続きを読む →

Hacker Newsで、依存ライブラリなしのJVM用JAR1つで動き、llama.cppより速いというローカル推論が話題に。llama3.javaやbrewferenceなどの純Java実装がVector APIやGraalVMで性能を上げています。ただし実測数値は乏しく、開発継続の難しさも見えてきました。

続きを読む →