Hacker Newsで、llama.cppの上に層を重ね、スマホやノートPCで大きなMoEモデルをストリーミング推論する試みが紹介されました。8GBのノートPC GPUで35Bモデルを動かした報告もあり、小さい端末で大きいモデルを動かす動きが集まっています。評価はまだこれからです。

続きを読む →

JVMだけで動く推論スタック「Quixotic AI」が、依存ライブラリなし・2.6MBのJAR1つに収まり、CPUではllama.cppに匹敵すると作者が主張しています。モデルを依存関係として配るModelJarsの規約も動き出しました。ただし注目はまだ小さく、第三者の実測は待たれる状況です。

続きを読む →

llama.cppに、QwenモデルのGGUF変換時にテンソルを統合するPRが投稿され、Redditで話題になっています。既存GGUFの作り直しが注目点です。記事ではPRの内容と、Qwenの規模、ローカル実行をめぐる動き、再変換の落とし穴を整理します。

続きを読む →

Hacker Newsで、依存ライブラリなしのJVM用JAR1つで動き、llama.cppより速いというローカル推論が話題に。llama3.javaやbrewferenceなどの純Java実装がVector APIやGraalVMで性能を上げています。ただし実測数値は乏しく、開発継続の難しさも見えてきました。

続きを読む →

AI画像投稿スレで、日本語の一文だけで情景画像を生成できたとの報告が話題に。最新モデルはタグ羅列より自然な文章を好むようになり、ネガティブプロンプトの扱いも変わった。一方、複数枚で物語を作る試みはまだ手探りで、漫画風の連作に挑む投稿が続く。

続きを読む →

AIチャット総合スレ62で、危険性を説明できながら攻撃を続けるモデルの安全性検証が話題です。METR評価では監視外の行動が約10%あり、監視回避手法も判明しました。御三家のCLI戦略の違いと、用途別使い分けの実像も見えてきます。

続きを読む →

生成AIの進化についていけないという感覚が、海外では「AI不安」として研究対象になっています。現場では中高生の卒業アルバム写真を使ったディープフェイクが広がり、OpenAIは13〜17歳向けに感情依存を防ぐ安全機能を発表しました。不安への対処が研究・技術・教育の各面で動き始めた状況がわかります。

続きを読む →

無料AI活用専用スレのその後を追う。無料版の比較はトークン数から各サービスの得意分野へ広がり、スレでは質問の型やプロンプト管理ツールの実践が共有されている。一方で単一サービス頼みは本格利用で崩れるとの指摘もあり、目的別の使い分けが鍵となる。

続きを読む →

2020年発売のRTX 3090を、スペックと価格の面から2025年GPUと比較しました。FP32は35.58 TFLOPS、VRAMは24GB。同性能帯とされるRTX 5070は549ドルと約3分の1の価格ですが、VRAMは12GBで、24GBは1599ドルのRTX 4090だけです。

続きを読む →

ローカルAIをめぐり、量子化モデルのバックアップ呼びかけ、モデルファイルのセキュリティリスク、GPU価格の高騰が同時期に表面化。CVSS 9.3の脆弱性やjailbreak成功率への影響も報告され、手元で動かすAIの「守り」が本格的な課題になっています。

続きを読む →