Qwen3.8-27Bのローカル推論で、旧世代GPUでの実測報告が相次いでいます。Tesla P100×2枚のQ6_K量子化で約60tps、V100 32GBでは13万トークンのコンテキスト動作を確認。RTX 4090での4構成比較ではNInferとq27がわずか0.16%差という結果も出ました。

続きを読む →

AIモデルに「考える時間の予算」を自分で設定できる——Qwen3の技術報告が、そんな使い方を提示しています。前回は推論トークンを減らして効率を上げる動きを追いました。今回はその延長線上にある「1つのモデルで役割をまとめる」という流れを追います。Qwen3は、Qwenシリーズ最新バージョンの技術報告と […]

続きを読む

QwenベースのファインチューンモデルTess-4.5-27Bが、推論トークンを約25%減らして同じスコアを出したと報告されました。コマンドライン作業では32%減、データ抽出では43%減という内訳です。ローカル推論の待ち時間短縮が期待されます。

続きを読む →