RTX 3090は24GBのVRAMと帯域で、2026年もローカルAI推論の中心です。14Bで52.1 tok/s、2枚で8エージェント250Kコンテキストなど具体的な報告があります。Flashモデルや画像生成の構成と限界がわかります。

続きを読む →

tandem.cppがQwen3.8-Flash-NextをRTX 4090と64GB RAMで97.3 tok/sで動作させ、llama.cpp比で3.3倍と報告されています。MoEのGPU/CPU分担が鍵で、Strataや量子化構成との差も見えます。

続きを読む →

CohereがQwen 3.8 Flash Nextを安全実験に使い、資金調達と重なり物議。公式技術報告やベンチ計画はあるが、素材に実測値は乏しく、検証設計とモデル選択が焦点です。aiの危険性議論で、試しかたが問われます。続報です。

続きを読む →

AlibabaがQwen4を4段階で発表し、27Bがローカル向けとされました。公式には仕様や日付がなく、Flashや推論設計の差が焦点です。本記事では発表の実態と準備の勘所を整理します。

続きを読む →

Qwen3.8-27Bのローカル実行で、量子化の精度とVRAMの差が注目されています。KLD平均0.0002で重み18.8GiBという報告や、8bit浮動小数点版より39%低い検証などが出ました。圧縮の進み方と、重みの中に計算機を埋める実験の広がりもわかります。

続きを読む →

aiの話題として、Qwenの重みに32bit RISC-V CPUを埋めたQwenputerが注目されています。算術ベンチの正答率は48.6%から100%に上がり、推論の内部実行が報告されました。教育用実装やベンチ資料も並んでいます。

続きを読む →

個人開発者がQwen3.5-4Bを独自に学習したコーディングモデルが、Three.jsでの3Dシーン生成で品質と一発成功率を上げています。学習完了後にはデータセットや技術レポートの公開が予定されています。小型モデルの得意領域を広げる試みとして注目です。

続きを読む →

vLLMの改良コードからQwen4-27Bの新アーキテクチャを示すPRが一瞬公開後に削除され話題に。公式レシピのQwen3.8-27Bは64層のうち16層だけフルアテンションで、262144トークンの文脈に対応。PCIe環境のNCCL不具合と回避策も紹介し、vLLMが最新モデル検証の中心である実態がわかります。

続きを読む →

Qwen3を自分の用途に仕上げる動きが音声とテキストで進んでいます。TTSの0.6Bを微調整した600Mモデルは実時間の4倍の速さで、学習費は200ドル未満。32Bの医療推論向け学習はA100 1枚で50分、競合はQwen3.8-27B超えを主張しました。

続きを読む →

旧型GPU 2枚でQwen3.8-27Bを約60tpsで動かした報告の詳細が判明。構成はTesla P100 2枚・q6_k量子化・Linux Mintでした。さらにQwen3-32Bでは層ごとに精度を使い分ける超低ビット量子化が公開され、1ビット相当でperplexityを43.9%改善しています。

続きを読む →