古いサーバー用GPUで、最新のQwenが動き始めています。Hacker Newsに、こんな投稿が上がりました[1]。「Tesla P100を2枚、q6_k量子化でQwen3.8-27Bを約60tps」という報告です。tpsは1秒間に生成できるトークン数のことです。量子化は重みを圧縮してメモリを節約する仕組みで、大型モデルを限られたメモリに載せる定番の手法になっています。投稿にはllama.cppの改変版リポジトリへのリンクも添えられていました[1]。
投稿には「どんなシステムで動かしたのか」という質問が付き[3]、投稿者は「OSはLinux Mint、本体はDell」と答えています。特別な計算クラスタではなく、普通のデスクトップ機にサーバー向けGPUを差した構成のようです。27Bモデルの重みは量子化しても容量が大きく、2枚のGPUに分けて載せるのが自然な構成です。動かした環境まで公開している点は、この手の実験として親切なところです。
Qwen3.8-27Bは、Qwen3.5を土台にした27Bのデンスモデル(全パラメータを常に使う通常型)です[2]。画像と動画を理解できる視覚言語モデルで、コーディングや専門業務での強化がうたわれています[2]。エージェント実行も改善され、自律的な計画や環境からのフィードバック処理を経て、タスクを最後までやり遂げる力が上がったと説明されています[2]。思考モードは既定でオン、リクエストごとにオフにでき、推論の深さも調節できます[2]。既存の開発ツールとの互換性も広がりました[2]。クラウドサービスでは、100万トークンのコンテキスト(一度に扱える文章の分量)に対応した提供も準備中です[2]。
一方、古いGPU側にも専用の取り組みが現れました。NInferという推論用ソフトウェア向けに、Qwen3.8-27B由来のNVFP4形式ファイルが公開されています[4]。NVFP4は重みの保存形式で、実行時にはソフトウェアで復号します。FP4の専用回路を持たないV100でも、圧縮された重みをその精度のまま扱えます[4]。Blackwell級(最新世代)のGPUは不要というわけです[4]。構成はV100-SXM2-16GBを2枚使い、テンソル並列(計算を複数GPUに分割する方式)とします[4]。17.6GBの重みを2枚に分けて載せる形です[4]。テキスト・ビジョン・MTP(複数トークンを一度に予測する仕組み)のリソースを1ファイルにまとめ、推論時の追加ダウンロードが不要な点も特徴です[4]。検証は64bit Linux上で、ドライバ570.211.01とCUDA 12.8の組み合わせで行われたとあります[4]。
検証材料も増えています。V100 32GBでQwen3.8-27Bを131kコンテキストで動かしたという実測記事もあります[5]。GGUF量子化をQ2からQ8まで比べた解説も公開されました。V100での推論ベンチマークを集めたリポジトリも現れています[5]。量子化の段階は容量と精度のバランスを左右するため、どれを選ぶかがローカル実行の鍵になります。公式の技術レポート[5]やベンチマーク評価ガイド[7]もあり、試すための土台は整いつつあるようです。
ただし、素材からは落とし穴も読み取れます。このNVFP4ファイルはNInfer専用形式で、TransformersやGGUFの配布物ではありません[4]。動作検証も特定のドライバとCUDAの組み合わせに限られます[4]。環境が一つ違うと動かない可能性もあるため、再現には注意が必要です。さらに、元になったのは「Uncensored」と呼ばれる改造版のファインチューンで、公式モデルそのものの実行とは別物です[4]。注意書きによれば、ファイルサイズがそのままGPUメモリ消費になるわけではありません[4]。KVキャッシュ(会話の途中結果を保持する領域)や同時実行数、ビジョン処理の有無で、必要なメモリは変わります[4]。
P100もV100も、現行品から見ればかなり古いカードです。P100はV100よりさらに前の世代にあたります。それでも量子化と専用ランタイムの組み合わせで、27Bモデルが約60tpsで動きました[1]。重みが公開されているからこそ、最新機材を持たない人でも新モデルに手が届きます。今回の流れは、オープンウェイトの利点がはっきり表れた例と言えそうです。
引用ソース
- Hacker News Hacker News: 2x Tesla p100s, q6_k quant, Qwen 3.8 27B ~60tps — https://github.com/Kmic-68/llama.cpp
2x Tesla p100s, q6_k quant, Qwen 3.8 27B ~60tps
- Web記事 記事全文: Qwen/Qwen3.8-27B · Hugging Face — https://huggingface.co/Qwen/Qwen3.8-27B
This repository contains model weights and configuration files for the post-trained model in the Hugging Face Transformers format.
These artifacts are compatible with Hugging Face Transformers, vLLM, SGLang, TokenSpeed, - HNコメント HNコメント: Tesla p100s, q6_k quant, Qwen 3.8 27B ~60tps — https://news.ycombinator.com/item?id=50146283
Interesting. What system were running the cards on?
- Web記事 記事全文: Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-NVFP4-NINFER — https://huggingface.co/yinpeach/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-NVFP4-NINFER
Native NInfer v2 artifact built for the Tesla V100 (sm_70) and derived from the HauhauCS uncensored finetune (HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF) of Qwen/Qwen3.8-27B. It includes Text, Vision, M
- Web記事 Web検索: v100-inference-benchmarks/models/qwen3.8-27b at main – GitHub — https://github.com/tangles-0/v100-inference-benchmarks/tree/main/models/qwen3.8-27b
v100-inference-benchmarks/models/qwen3.8-27b at main – GitHub
- Web記事 Web検索: PDF Qwen3/Qwen3_Technical_Report.pdf at main · QwenLM/Qwen3 — https://github.com/QwenLM/Qwen3/blob/main/Qwen3_Technical_Report.pdf
PDF Qwen3/Qwen3_Technical_Report.pdf at main · QwenLM/Qwen3
- Web記事 Web検索: Qwen3/qwen3_benchmark_evaluation_guide.md at main – GitHub — https://github.com/HarleyCoops/Qwen3/blob/main/qwen3_benchmark_evaluation_guide.md
Qwen3/qwen3_benchmark_evaluation_guide.md at main – GitHub
- Web記事 Web検索: Tesla V100 32GB Runs Qwen3.8-27B: 131k Context, Measured — https://miyagadget.page/en/blog/2026/09/04/tesla-v100-32gb-qwen38-27b-benchmark-en/
Tesla V100 32GB Runs Qwen3.8-27B: 131k Context, Measured
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS