Qwen3.8-27Bのローカル推論を4構成で比べた実測が公開。専用エンジンと量子化Q6_Kの速度差は0.16%で、長文処理はvLLMが最速でした。コミュニティ34件の平均は45.9トークン/秒。Flash NextのURL流出疑惑は、プロンプトによる誘導の可能性が指摘されています。

続きを読む →

ローカル推論エンジンStrataで、V100 32GB×3の古いサーバがQwen-Flash-Nextをほぼ400 tok/sで動かした投稿が話題です。公式はRTX 30/40/50世代とAMDの一部に対応し、0.2.6では大容量RAM環境のDeepSeekも高速化。対応外GPUを自前で支えるフォークの動きも見えます。

続きを読む →

Google I/O 2026で、24時間動くAIエージェントの土台が示されました。新モデルGemini 3.5 Flashはエージェント作業などのベンチマークで3.1 Proを上回り、出力速度は他モデルの4倍と発表。月間ユーザー9億人超のGeminiアプリに常時稼働のエージェントが載る形です。

続きを読む →

Qwen 3.8 Flash Next(125B MoE)を8GBのGPUで動かす検証が相次いで報告されています。全体の約3割を占めるn-gram参照テーブルをシステムRAMに置く構成で、decode毎秒30〜36トークンを達成。量子化やMTPなど速度と品質のトレードオフも実測で見えてきました。

続きを読む →

AlibabaがQwen 4に先駆けて公開したQwen3.8-Flash-Nextをめぐり、ARC-AGI-3コンペの勝利予報と冗談めいた「データ送信」投稿が同時に話題です。プレビューはMoE+n-gramメモリテーブル設計で、ローカルの目安は現行27BのBF16約54GB〜4ビット16GBです。

続きを読む →

ローカル推論エンジンStrata関連で、エキスパートをRAMに常駐させずNVMe SSDから直接読む新方式が話題に。RTX 4090とRAM 8GBで125Bモデルが約20 tok/sで動き、262kトークンでも速度はほぼ落ちませんでした。一方、Strata本体の0.2.6は大RAM環境向けに高速化し、環境別の道筋が見えてきました。

続きを読む →

Dots系の文書解析モデルdots.ocrがdots.mocrへ刷新。3BパラメータのVLM1つでレイアウト検出・文字認識・図表解析を統合し、Gemini 3 Flashを審査員に立てたElo評価で同サイズ最高水準とされます。vllmなどでのローカル推論も可能で、仕組みと評価方法、留意点を整理しました。

続きを読む →

DeepSeek-V4.1-Flashの2bit量子化版を巡り、Redditで「ベンチマークが飽和していて劣化を測れない」と検証を問う声が上がっています。IQ2_XXSは元モデルと同等スコア、AIME25は全バージョンで100です。KLDやPPLの実測が待たれる段階です。

続きを読む →

llama.cppにDeepSeek V4.1 Flash対応を追加するPRが投稿され話題に。同モデルは552B(投稿では763B)の巨大MoEで、KVキャッシュが小さく済む新設計です。96GB VRAMのGPU1枚で動かす構成が示されていますが、対応はまだWIPで不具合報告も残ります。

続きを読む →

Qwen4の先行プレビューQwen3.8-Flash-Nextで、ローカル実行の具体的な報告が相次いでいます。総125B・活性約6BのMoE構成を生かし、8GB GPU+24GB RAMで毎秒70トークンなど実測が共有されました。一方で推論系のベンチマークでは苦戦する項目も見えています。

続きを読む →