📌 エグゼクティブサマリー
AI音声合成dots.ttsは2Bパラメータで、Seed-TTS-EvalのWERや初音遅延85/54msなど具体的な数値を示しました。音声編集やSGLang Omniの制約も追跡し、ローカル推論への影響を整理します。
aiモデルのdots.ttsが、また一段くっきりした数字を出しました。前回は中間公開と音声合成の動きを追いましたが、今回は「連続表現」「編集」「低遅延」が前に出ています。dots.ttsは2Bパラメータの完全連続型、end-to-endの自己回帰音声合成です。離散トークンの中間表現を置かず、48 kHzのAudioVAEの上で音を作ります[1][2]。
中身は、意味を扱うエンコーダ、LLM、そして音の細部を流し込むflow-matchingヘッドの組み合わせです。ここで注目したいのは、flow-matchingヘッドが全履歴を条件に使う点です。長い文で声が崩れにくく、生成中のずれを抑えやすいとされています[2]。さらに、報酬を使わない自己修正的な事後学習をヘッドに適用し、頑健さと音質を上げたとあります[2]。
数字はSeed-TTS-Evalで示されています。zh/en/zh-hardでWERが0.94%、1.30%、6.60%、SIMが81.0、77.1、79.5です[1][2]。平均性能が最良とされ、24言語のMiniMax多言語ベンチでは話者類似度の平均83.9が最高と報告されています[1]。単なる読み上げではなく、安定性、声の複製、感情表現が評価軸に入っているのが面白いです[1]。
flashのような速さを狙うなら、MeanFlowの蒸留が鍵です。dots.tts-mf-2steps、dots.tts-mf-1step、dots.tts-mf-2steps-sttsといった軽量版が公開されています[1]。技術レポートでは、出力ストリーミングと二重ストリーミングで初音遅延が85msと54msとされています[2]。ローカル推論では、この初音の速さが体感の差になりやすいです[2]。
編集機能も進みました。dots.tts.editは、指示で音声を精密に編集する方向です[1]。さらにdoteBench V1.0は、英語と中国語の2,081ケースを持つXML中心の音声編集ベンチです。テキスト、感情、韻律、ポーズ、複合編集を扱い、指示追従、局所保存、音質を測ります[1]。単に「直す」から「狙って直す」へ移った印象です[1]。
hacker的に触るなら、SGLang Omniの対応も気になります。dots.ttsのmf、mf-2steps、mf-2steps-stts、soar、baseがサポートされ、ストリーミングPCMとCUDA-graphによるバックボーンデコードが使えます[1]。MeanFlow、2ステップsCM、STTSは連続バッチを使います[1]。ただし、現在のOmni STTSサービングは、リクエスト開始時に完全なテキストか、すでに集めたトークンID列を消費します。同じ実行中リクエストへ増分トークンを流し込むことは、まだできません[1]。
ここで一度、冷たい見方も必要です。dots.llm1やdots.ocrの検索結果は並んでいますが、素材には具体的なベンチ数値やローカル構成の比較がありません[3][4][4][4]。dots.tts自体も、Apache 2.0でコードとチェックポイントが公開されている点は強いですが、GPU枚数、VRAM、量子化、実測TPS、消費電力までは素材にありません[1][2]。つまり「速い」と「自分の環境で回る」は、まだ別の話です。
それでも、今回の追跡でわかるのは、Dotsが音声合成を「生成」から「編集と運用」へ広げていることです。連続表現で崩れを抑え、MeanFlowで初音を短くし、doteBenchで編集精度を測る。この三点が揃ったことで、ローカル推論の使い道が一段増えたようです[1][2]。次は、実際の構成でどこまで安定し、どこから増分ストリーミングが使えるか。そこが次の焦点になりそうです。
引用ソース
- [1] Web記事 記事全文: GitHub – studio-dots-ai/dots.tts · GitHub — https://github.com/studio-dots-ai/dots.tts
dots.tts is a 2B-parameter fully continuous, end-to-end autoregressive (AR) text-to-speech system. The backbone pairs a semantic encoder, an LLM, and an autoregressive flow-matching acoustic head over a 48 kHz AudioVAE,
- [2] Web記事 記事全文: dots.tts Technical Report – arXiv.org — https://arxiv.org/html/2606.07080v2
dots.tts Technical Report
Abstract
We present dots.tts, a 2B-parameter continuous autoregressive text-to-speech (TTS) foundation model that models speech in a continuous latent space. Compared with existing continuous au - [3] Web記事 Web検索: GitHub – studio-dots-ai/dots.llm1: The official repository of the dots … — https://github.com/studio-dots-ai/dots.llm1
GitHub – studio-dots-ai/dots.llm1: The official repository of the dots …
- [4] Web記事 Web検索: Performance Benchmarks | rednote-hilab/dots.llm1 | DeepWiki — https://deepwiki.com/rednote-hilab/dots.llm1/4.1-performance-benchmarks
Performance Benchmarks | rednote-hilab/dots.llm1 | DeepWiki
- [5] Web記事 Web検索: Performance Benchmarks | rednote-hilab/dots.ocr | DeepWiki — https://deepwiki.com/rednote-hilab/dots.ocr/1.2-performance-benchmarks
Performance Benchmarks | rednote-hilab/dots.ocr | DeepWiki
- [6] Web記事 Web検索: rednote-hilab/dots.llm1.base · Hugging Face — https://huggingface.co/rednote-hilab/dots.llm1.base
rednote-hilab/dots.llm1.base · Hugging Face
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS