📌 エグゼクティブサマリー
Dotsの最新動向を追い、dots.llm1の14B活性/142Bとdots.ttsのWER数値を整理。ローカル推論で残る実測不足と、音声合成の連続AR設計から次の試行が見えてきます。中間チェックポイント公開も焦点です。追跡記事です。
『Dots』と聞いて、何を思い浮かべますか。ここではstudio-dots-aiが公開するaiモデルのdots.llm1とdots.ttsを指します。話題の周辺にはai、flash、hackerといった語も並びますが、本稿はローカル推論に寄せます。前回は「選ばれる2つの道」として整理しました。今回は、中間チェックポイントの公開と音声合成の進展という新しい角度から追跡します。モデルの賢さだけでなく、学習過程と音声パイプラインの設計が、選ばれる理由になりそうです。
dots.llm1は、2025年6月に公開されたMoEモデルです。総パラメータ142Bのうち、推論時に活性化するパラメータは14Bとされています。この構成により、Qwen2.5-72Bと同等の性能を目指したと説明されています。注目したいのは、事前学習で合成データを使わず、高品質な非合成トークンを用いた点です。さらに、スケーラブルで細粒度の3段階データ処理フレームワークが提案されています。学習過程の中間チェックポイントもオープンに公開されています。モデルの重みだけでなく、学習の動きを追える点が、研究者やhacker的な試行に有用と思われます。[1]
アーキテクチャも細かく書かれています。学習段階は事前学習とSFTです。注意層にはQK-Norm付きのMulti-head Attentionを使い、MoEは128のルーター付き専門家からtop-6を選び、共有専門家2つを足します。層数は62、注意ヘッド数は32、コンテキスト長は32,768トークンです。対応言語は英語と中国語で、ライセンスはMITです。Hugging Faceのコレクションからdots.llm1を探すと、baseとinstruction-tunedの両方に触れられます。ローカル推論のセットを組む人にとって、この公開範囲は大きいです。[1]
ただし、ローカル推論の現場で気になるのは速度です。素材には、dots.llm1を何枚のGPUで動かし、どの量子化で何トークン/秒出るかという実測値は見つかりませんでした。14B活性という数字は効率のヒントになりますが、VRAMやPCIe分担、prefillとdecodeの差までは示されていません。ローカル推論の観点では、14B活性がGPU負荷をどう減らすかは、素材の範囲では判断できません。公開情報からは、推論時のメモリ使用量やスループットの目安を直接は引き出せません。ここは正直に置いておき、次のdots.ttsへ移ります。[1]
dots.ttsは2Bパラメータの、完全連続・エンドツーエンドの自己回帰型音声合成です。意味エンコーダ、LLM、autoregressive flow-matchingの音響ヘッドを48kHz AudioVAEの上で組み合わせ、離散トークンをパイプラインに挟みません。Seed-TTS-Evalでは、zh/en/zh-hardでWERが0.94%、1.30%、6.60%、SIMが81.0、77.1、79.5と報告されています。24言語のMiniMaxベンチマークでは、平均話者類似度83.9で最高平均とされています。生成安定性、声質クローン、感情表現が強いとされています。[2]
音声合成の周辺も動いています。dots.tts.editでは、指示で音声編集できるとされ、doteBench V1.0も公開されています。これは英語と中国語の2,081ケースで、テキスト、感情、韻律、ポーズ、複合編集をXML優先で評価する試みです。SGLang Omniはdots.ttsの複数変種に対応し、ストリーミングPCMやCUDA-graph、連続バッチングに触れています。公開されている変種にはdots.tts-mf-2steps、dots.tts-mf-1step、dots.tts-mf-2steps-stts、soar、baseがあります。Seed-TTS-Eval ENでは、1× H100、dots.tts-mf、num_steps=4の例も載っています。ただし、STTSのサービングは現状、完全なテキストか収集済みトークンID列を受け取り、同じ進行中リクエストへ増分トークンを投入する形には対応していません。[2]
ここで一度、勢いを裏返す視点を入れます。dots.llm1は英語と中国語に限定され、コンテキストも32,768トークンです。dots.llm1の対応言語が英語と中国語であるため、日本語中心のローカル推論では前処理や評価の設計が別途必要と思われます。dots.ttsもzh-hardのWERは6.60%と、日本語のような別言語への転用は素材から読み取れません。さらに、ローカル推論の実測TPSやGPU構成が示されていないため、「軽いから速い」とは言い切れません。評価ページやツール解説はdots.llm1やdots.mocrにもあり、比較の入口は増えています。しかし、本文で使える具体的な比較数値は公式リポジトリの範囲に寄っています。[1][2][3][4]
それでも、Dotsの追跡で見えてきたのは、モデル単体の賢さより、学習過程と音声パイプラインの設計が選ばれる時代です。dots.llm1は中間チェックポイントで再現性を示し、dots.ttsは離散トークンを外した連続表現で安定と表現力を狙っています。中間チェックポイントと音声編集ベンチマークが並んだことで、Dotsは単発のモデル公開ではなく、追試と評価の場として動き出しています。読者としては、まず公式リポジトリの公開範囲とベンチマーク数値を軸に、自分の環境で追試したくなります。次の関心は、ローカル推論のセットでどこまで速く、どこまで自然に流せるかに向かうと思われます。[1][2]
引用ソース
- [1] Web記事 記事全文: GitHub – studio-dots-ai/dots.llm1: The official repository of the dots … — https://github.com/studio-dots-ai/dots.llm1
🤗 Hugging Face | 📑 Paper
🖥️ Demo | 💬 WeChat (微信) | 📕 rednote | 𝕏 X
Visit our Hugging Face (click links above), search checkpoints with names starting with dots.llm1 or visit the dots1 collection - [2] Web記事 記事全文: GitHub – studio-dots-ai/dots.tts · GitHub — https://github.com/studio-dots-ai/dots.tts
dots.tts is a 2B-parameter fully continuous, end-to-end autoregressive (AR) text-to-speech system. The backbone pairs a semantic encoder, an LLM, and an autoregressive flow-matching acoustic head over a 48 kHz AudioVAE,
- [3] Web記事 Web検索: Performance and Evaluation | rednote-hilab/dots.llm1 | DeepWiki — https://deepwiki.com/rednote-hilab/dots.llm1/4-performance-and-evaluation
Performance and Evaluation | rednote-hilab/dots.llm1 | DeepWiki
- [4] Web記事 Web検索: Evaluation and Tooling | studio-dots-ai/dots.mocr | DeepWiki — https://deepwiki.com/studio-dots-ai/dots.mocr/5-evaluation-and-tooling
Evaluation and Tooling | studio-dots-ai/dots.mocr | DeepWiki
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS