Qwen3.8-27Bのローカル推論を4構成で比べた実測が公開。専用エンジンと量子化Q6_Kの速度差は0.16%で、長文処理はvLLMが最速でした。コミュニティ34件の平均は45.9トークン/秒。Flash NextのURL流出疑惑は、プロンプトによる誘導の可能性が指摘されています。
タグ: NInfer
続報:Qwen3.8-27Bのローカル推論、旧世代GPUでの実測が相次ぐ
Qwen3.8-27Bのローカル推論で、旧世代GPUでの実測報告が相次いでいます。Tesla P100×2枚のQ6_K量子化で約60tps、V100 32GBでは13万トークンのコンテキスト動作を確認。RTX 4090での4構成比較ではNInferとq27がわずか0.16%差という結果も出ました。





RECENT COMMENTS