llama.cppのMoEオフロードに、スマホやノートを狙うラッパーや動的オフロードのフレームワークが登場し、実装が増えています。Qwen3-Coder 30Bはトークンごとに3Bだけ動くものの、重みの置き場所が壁で、RAMへの逃がしは速度との引き換えです。

続きを読む →

Redditで、ローカル動作のQwen3.8 Flash Nextによるモーショングラフィックス制作が話題です。Strix Haloと量子化モデルで、クラウド巨大モデルと同じフレームワークの動画を完成させました。ただし複数回の調整が必要で、速度の実測はまだありません。

続きを読む →

Qwen3.8-27Bを古いTesla P100 2枚で約60tpsで動かす報告に、動作環境の詳細が判明しました。一方Redditでは、同シリーズをベースにBlender用3Dモデル生成を強化したfinetuneを求める声が登場。テキスト推論は進化を続ける一方、3D生成に応えるモデルはまだ見つかっていない実情がわかります。

続きを読む →

vLLM周辺で、27Bクラスを1枚のGPUで動かす試みが進んでいます。Qwen3.6-27Bは量子化とDFlashの草案検証で、256トークン出力・1〜4同時ストリームを合計33.7秒で処理。一方でVRAMだけでは速度は決まらず、次期Qwen4のKVキャッシュも減らないようです。

続きを読む →

RTX 3090でのQwen3.8 27B実測が相次いでいます。韓国語RAGベンチマークでは77.3%対76.6%でクラウド最上位のOpus 5.5と引き分け、生成速度は前世代とほぼ同等でした。誤答の多くはPDF解析や検索に由来し、ボトルネックはモデルの外側にあることが見えてきます。

続きを読む →

Hacker Newsで、古いTesla P100を2枚使いQwen3.8-27Bを約60tpsで動かした報告が話題に。V100向けにはソフト復号のNVFP4版も登場し、17.6GBの重みを2枚に分割して動きます。旧GPUで新モデルを動かすローカル推論の実例を整理しました。

続きを読む →

Qwen3最小モデル0.6BをMoE構造に変換する試みがローカルコミュニティで話題です。Qwen3は共有エキスパートを持たず品質維持が難しく、疑似共有エキスパートで対処しました。公式レポートはthinkingモード統合や多言語対応29から119への拡大を示しています。

続きを読む →

RedditでQwen4がArenaに現れたとの投稿が話題になっています。一方ランキングではQwen3.8 Maxが69.7で首位、Flash-Nextとは6.9ポイントの差。本記事では伝聞レベルの新情報と、暫定スコアの正しい読み方を整理します。

続きを読む →

RTX 5060 Ti 2枚の環境で新しいローカルLLMを18個試したところ、どれもQwen3.8-27Bを置き換えられなかったというテストが話題です。2枚構成は32GBのVRAMでMoEモデルに強く、従来型モデルでは帯域の広いRTX 3090が速いなど、構成ごとの得意分野が見えてきました。

続きを読む →

Qwen3.8-27Bのローカル推論で、旧世代GPUでの実測報告が相次いでいます。Tesla P100×2枚のQ6_K量子化で約60tps、V100 32GBでは13万トークンのコンテキスト動作を確認。RTX 4090での4構成比較ではNInferとq27がわずか0.16%差という結果も出ました。

続きを読む →