AI音声合成dots.ttsが、具体的な数値をそろえて更新しました。前回は中間公開と音声合成の動きを追いました。今回は「連続表現」「編集」「低遅延」が前に出ています。dots.ttsは2Bパラメータの完全連続型で、end-to-endの自己回帰音声合成です。離散トークン(音を細かい記号に分けたもの)の中間表現を置きません。連続的な値のまま音を作ります。土台は48 kHzのAudioVAEで、音の特徴を圧縮して扱う仕組みです[1][2]。
中身は三つの部品の組み合わせです。意味を扱うエンコーダ、LLM、そして音の細部を生成するflow-matchingヘッドです。flow-matchingは、音の細部を滑らかに作り出す仕組みです。注目は、このヘッドが全履歴を条件に使う点です。長い文でも声が崩れにくく、生成中のずれを抑えやすいとされています[2]。さらに、報酬を使わない自己修正的な事後学習をヘッドに適用し、頑健さと音質を上げたとあります[2]。
数字はSeed-TTS-Evalで示されています。zh/en/zh-hardでWERが0.94%、1.30%、6.60%です。WERは、音声を文字に起こしたときの誤り率です。SIMは81.0、77.1、79.5で、声の似方を測る指標です[1][2]。平均性能が最良とされ、24言語のMiniMax多言語ベンチでは話者類似度の平均83.9が最高と報告されています[1]。評価軸には安定性、声の複製、感情表現が入っています。単なる読み上げの正確さだけを見ていない点が面白いところです[1]。
flashのような速さを狙うなら、MeanFlowの蒸留が鍵です。蒸留は、大きなモデルの能力を軽いモデルに移す手法です。dots.tts-mf-2steps、dots.tts-mf-1step、dots.tts-mf-2steps-sttsといった軽量版が公開されています[1]。技術レポートでは、出力ストリーミングと二重ストリーミングで初音遅延が85msと54msとされています。初音遅延は、最初の音が出るまでの遅れです[2]。ローカル推論では、この速さが体感の差になりやすいです[2]。
編集機能も進みました。dots.tts.editは、指示で音声を精密に編集する方向です[1]。さらにdoteBench V1.0が公開されています。英語と中国語の2,081ケースを持つ、XML中心の音声編集ベンチです。テキスト、感情、韻律、ポーズ、複合編集を扱います。韻律は、声の抑揚や間の取り方です。測るのは指示追従、局所保存、音質です。局所保存は、編集していない部分を保つ力です。単に「直す」から「狙って直す」へ移った印象です[1]。
hacker的に触るなら、SGLang Omniの対応も気になります。dots.ttsのmf、mf-2steps、mf-2steps-stts、soar、baseがサポートされました[1]。ストリーミングPCMにも対応します。PCMは、圧縮しない生の音データの形式です。さらに、バックボーン(モデル本体)のデコードにCUDA-graphを使えます。CUDA-graphは、GPUの処理をまとめて実行する高速化機能です。MeanFlow、2ステップsCM、STTSは連続バッチを使います。連続バッチは、リクエストを差し替えながら捌く方式です[1]。ただし制約があります。現在のOmni STTSサービングは、リクエスト開始時に完全なテキストか、すでに集めたトークンID列を消費します。同じ実行中リクエストへ増分トークンを流し込むことは、まだできません[1]。途中から情報を足していく方式には、まだ対応していないのです。
ここで一度、冷たい見方も必要です。dots.llm1やdots.ocrの検索結果は並んでいますが、素材には具体的なベンチ数値やローカル構成の比較がありません[3][4]。dots.tts自体は、Apache 2.0でコードとチェックポイントが公開されている点が強いです[1][2]。ただしGPU枚数、VRAM、量子化、実測TPS、消費電力までは素材にありません[1][2]。量子化は、重みを圧縮してメモリを節約する仕組みです。つまり「速い」と「自分の環境で回る」は、まだ別の話です。
それでも、今回の追跡でわかるのは、Dotsが音声合成を「生成」から「編集と運用」へ広げていることです。連続表現で崩れを抑え、MeanFlowで初音を短くし、doteBenchで編集精度を測る。この三点がそろいました。ローカル推論の使い道が一段増えた形です[1][2]。次は、実際の構成でどこまで安定するか、どこから増分ストリーミングが使えるかです。そこが次の焦点になりそうです。
引用ソース
- Web記事 記事全文: GitHub – studio-dots-ai/dots.tts · GitHub — https://github.com/studio-dots-ai/dots.tts
dots.tts is a 2B-parameter fully continuous, end-to-end autoregressive (AR) text-to-speech system. The backbone pairs a semantic encoder, an LLM, and an autoregressive flow-matching acoustic head over a 48 kHz AudioVAE,
- Web記事 記事全文: dots.tts Technical Report – arXiv.org — https://arxiv.org/html/2606.07080v2
dots.tts Technical Report
Abstract
We present dots.tts, a 2B-parameter continuous autoregressive text-to-speech (TTS) foundation model that models speech in a continuous latent space. Compared with existing continuous au - Web記事 Web検索: GitHub – studio-dots-ai/dots.llm1: The official repository of the dots … — https://github.com/studio-dots-ai/dots.llm1
GitHub – studio-dots-ai/dots.llm1: The official repository of the dots …
- Web記事 Web検索: Performance Benchmarks | rednote-hilab/dots.llm1 | DeepWiki — https://deepwiki.com/rednote-hilab/dots.llm1/4.1-performance-benchmarks
Performance Benchmarks | rednote-hilab/dots.llm1 | DeepWiki
- Web記事 Web検索: Performance Benchmarks | rednote-hilab/dots.ocr | DeepWiki — https://deepwiki.com/rednote-hilab/dots.ocr/1.2-performance-benchmarks
Performance Benchmarks | rednote-hilab/dots.ocr | DeepWiki
- Web記事 Web検索: rednote-hilab/dots.llm1.base · Hugging Face — https://huggingface.co/rednote-hilab/dots.llm1.base
rednote-hilab/dots.llm1.base · Hugging Face
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS