Qwen3.8-27Bを古いTesla P100 2枚で約60tpsで動かす報告に、動作環境の詳細が判明しました。一方Redditでは、同シリーズをベースにBlender用3Dモデル生成を強化したfinetuneを求める声が登場。テキスト推論は進化を続ける一方、3D生成に応えるモデルはまだ見つかっていない実情がわかります。

続きを読む →

llama.cppのMoEオフロードをめぐり、スマホやノートPCで巨大MoEを動かすラッパーがHacker Newsに投稿されました。Qwen3-235B-A22Bは総235Bのうち約22Bだけが動くため、16GBのGPUでも動かせます。ただしラッパー自体の実測値はまだありません。

続きを読む →

自作推論エンジンへの挑戦が続き、手法のバイブコーディングは学術論文でも扱われるようになりました。GPT-4は出力1000トークン0.06ドル、小型モデルは100万トークン0.06ドルと価格差は1000倍。価格の動機、OOMやインスタンス共有の問題、研究の最新を追います。

続きを読む →

JVM上で動く推論エンジンが、依存ライブラリなしのJARファイル1つでローカル推論ができ、llama.cppより速いと主張してHacker Newsに投稿されました。ただしコメントはなく、根拠数値も素材では未確認です。比較記事が乱立するローカル推論分野に、検証待ちの新顔が登場しました。

続きを読む →

Metaの個人向けAIエージェントMuseは、無料枠に月額20ドルと100ドルのプランを用意し、広告を載せず取引手数料で稼ぐ方針を示しました。Stripe連携の決済保護や11社の提携、10月の新モデルMuse Wonder発表など動きが相次いでいます。一方でレビューには「摩擦」を指す言葉も現れました。

続きを読む →

vLLM周辺で、27Bクラスを1枚のGPUで動かす試みが進んでいます。Qwen3.6-27Bは量子化とDFlashの草案検証で、256トークン出力・1〜4同時ストリームを合計33.7秒で処理。一方でVRAMだけでは速度は決まらず、次期Qwen4のKVキャッシュも減らないようです。

続きを読む →

llama.cppの高速化フォークik_llama.cpp関連の動きが相次いでいます。MoE最適化を進めるフォークは6GBのRTX 2060で生成45〜48トークン/秒、28Kコンテキストでも37トークン/秒を報告。フォークが先行した機能や利用上の注意点、本体統合を見送る理由まで整理します。

続きを読む →

アルトマン氏が、OpenAIの最強モデルはサイバー防御とバイオセキュリティが整うまで公開できないと明言。9月以降は減速や公開見送りの発言が相次ぐ一方、ChatGPT Adsの89市場展開など事業拡大も進んでいます。そのギャップから見えるものを整理します。

続きを読む →

AIに頼んで推論エンジンを自作する動きに、学習教材が相次いで登場しています。ブラウザのGPU機能で量子化モデルを動かす投稿がある一方、KVキャッシュやFlash attentionを章立てで学べる書籍も現れました。投稿者の結論は「llama.cppをcloneせよ」で、学習と実用の棲み分けが鮮明になっています。

続きを読む →

AI画像スレで、章立ての物語マンガを連載する投稿者が現れ、生成した絵の一部を修正して同じプロンプトを再実行する試行も報告されました。同じ指示でも出力が変わる再現性の壁が浮き彫りです。解説記事はネガティブプロンプトやテンプレート設計を一貫性の策として示します。

続きを読む →