NVIDIAの音声モデル、NIMでは高速だが公開版は制約

ai関連の話題です。NVIDIAがNemotron 3.5 Transcribeを公開しました。40言語の文字起こしや音声翻訳を狙う、オフライン音声モデルです。オフラインは、録音済みの音声をまとめて処理する形を指します。Redditのr/LocalLLaMAで、モデルページが共有されています。注目を集めています[1]。公式には商用・非商用どちらでも使えるとされています[2]。

記事全文: NVIDIA-Nemotron-3.5-Transcribe-30B-A4B - Hugging Face — 画像出典: 記事全文: NVIDIA-Nemotron-3.5-Transcribe-30B-A4B – Hugging Face

このモデルはSALM（音声と言語を扱うモデル）です。録音とテキスト指示を受け取り、文字起こしや話者付き文字起こしを出力します。音声の翻訳、言語識別、音声質問応答も想定されています[2]。音声質問応答は、録音の中身を質問して答えさせる使い方です。タイムスタンプ予測や、文脈を踏まえた文字起こしも扱います[2]。リッチ文字起こしは、発話の区切りや話者情報を豊かに残す形です[2]。学習には、テキスト指示に従うタスクも少し含まれています[2]。PIIタグ付け・マスキングのタスクも含まれています[2]。PIIは個人を特定できる情報です。

規模も注目されます。名前は30Bモデルです。推論時に活性化するパラメータは約4.3Bとされています[2]。MoE（必要な部分だけ使う仕組み）です。音声エンコーダも含んだ数値です[2]。音声エンコーダは、音声をモデルが扱える形に変える部品です。モデル名のA4Bは、この活性パラメータを示しているようです[1][2]。コンテキストは65,536トークンです。コンテキストは、指示や音声情報をどこまで保持できるかを示す範囲です[2]。最大1時間の録音に対応します[2]。公開形式はBF16、FP8、NVFP4です[2]。BF16やFP8は数値精度の型です。NVFP4はさらに軽い低精度形式です。

速度の話も出ています。NVIDIAのNIMでは、RTX PRO 6000 Blackwell Server Editionを1枚使います。毎秒2,238秒分の音声を処理できる例が示されています[2]。NIMは、NVIDIAが推論サーバー向けに整えたパッケージです。30秒の録音なら0.13秒で文字起こしを返すとされます[2]。これはNVFP4とDFlash2 speculative decodingの組み合わせです[2]。speculative decodingは、先に候補を推定して高速化する仕組みです。hacker的な手探りでローカルセットを使う人がいます。flashのように速い数字を見つけたら、魅力です。

ただし、この速さはNIM最適化版の話です。公開されたオープンソース版には、まだ同じ最適化が入っていません[2]。NeMo Speechに含まれるvLLM統合は開発向けです。約2倍遅いとされています[2]。NeMo Speechは音声モデル向けの開発環境です。vLLMはモデルを動かすためのエンジンです。公式の例では、H100 80GBを1枚使った環境が示されています[2]。vLLM 0.32.0とNeMo Speechの最新版を使います。動かす手順も示されています[2]。素材には、この音声モデルのローカル実測TPSは見つかりませんでした。DGX SparkでのTranscribe実測TPSもありません。

技術レポートも公開されています[3]。ただ、素材には具体的な誤差率の数値は見つかりませんでした。公式ページには2026年10月12日時点の結果があります。誤差率は低いほど良いとされています[2]。Web記事では、Granary v2が紹介されています[5][6]。オープンソース化や多言語対応も話題です[7][7]。explainx.aiは、オープン30Bモデルと40言語を強調しています[6]。the-decoderは文字起こしと翻訳を挙げます。話者認識も組み合わせたと伝えています[7]。AGI Huntは、30Bモデルのオープンソース化を短くまとめています[7]。GitHubではNemotron 3 Nano 30Bの手順があります。DGX Spark上で1Mコンテキストを動かす内容です[4]。1Mは100万を指します。今回のTranscribeとは別系統です。aiのセットアップを調べるhackerには参考になりそうです。

つまり話題の中心は、音声AIの開放と、実運用向けの速度の差です。NVIDIAは推論の速さを示しています。公開版の制約も正直に書いています[2]。NVIDIAは、後でNeMo SpeechやvLLMに組み込む予定だと述べています[2]。自分の環境で試すなら、NIMとの差を踏まえた検証が必要になります。40言語と1時間対応は便利ですが、速度は使う形次第です。公開版を検証するなら、音声品質と速度を確かめることが大事です。自分のデータで試すのがよいです。

引用ソース

Reddit Reddit r/LocalLLaMA: nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B · Hugging Face — https://www.reddit.com/r/LocalLLaMA/comments/1xhqy12/nvidianvidianemotron35transcribe30ba4b_hugging/

nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B · Hugging Face
Web記事 記事全文: NVIDIA-Nemotron-3.5-Transcribe-30B-A4B – Hugging Face — https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B

Nemotron 3.5 Transcribe is an open-weight, offline speech and audio model for transcription in 40 languages, with support for recordings up to one hour and a 65,536-token context. Its hybrid mixture-of-experts architectu
Web記事 記事全文: PDF Nemotron 3.5 Transcribe Technical Report – research.nvidia.com — https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Transcribe-Technical-Report.pdf

ݭx�n}X��”;0″ċ.�Nl^��x n��pY�u�{��#� 1PKb�/7��Z�\g�V+!yG��Ѩ%� v�*��Ԏ�vkB v��wW+��[�>�`�Q՞QKuT� p�F�F�/�s� w7�tpMj U2t��>4?��4��A_ĉ,��I*p>�2��}� quX�v��F!o�� [X|�� H�2 �I�X�|Y W��nfc�ŷy
Web記事 Web検索: GitHub – thupalo/llama-on-dgx-spark: Deploy Nemotron 3 Nano 30B with 1M … — https://github.com/thupalo/llama-on-dgx-spark

GitHub – thupalo/llama-on-dgx-spark: Deploy Nemotron 3 Nano 30B with 1M …
Web記事 Web検索: NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual … — https://huggingface.co/blog/nvidia/nemotron-transcribe-granary

NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual …
Web記事 Web検索: Nemotron 3.5 Transcribe: Open 30B Model, 40 Languages – explainx.ai — https://explainx.ai/blog/nemotron-3-5-transcribe-open-30b-speech-model-granary-v2-40-languages-2026

Nemotron 3.5 Transcribe: Open 30B Model, 40 Languages – explainx.ai
Web記事 Web検索: Nvidia’s open Nemotron 3.5 Transcribe combines transcription … — https://the-decoder.com/nvidias-open-nemotron-3-5-transcribe-combines-transcription-translation-and-speaker-recognition/

Nvidia’s open Nemotron 3.5 Transcribe combines transcription …
Web記事 Web検索: NVIDIA open-sources Nemotron 3.5 Transcribe 30B… · AGI Hunt — https://agihunt.info/en/p/1a1831918dac205bb7d23301748

NVIDIA open-sources Nemotron 3.5 Transcribe 30B… · AGI Hunt

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。