『Dots』は、studio-dots-aiが公開するdots.llm1とdots.ttsを指します。ひとつは文章生成、もうひとつは音声合成のモデルです。周辺にはai、flash、hackerといった語も並びますが、本稿はローカル推論に寄せます。前回は「選ばれる2つの道」として整理しました。今回は、学習途中の状態を公開する「中間チェックポイント」と、音声合成の進展という新しい角度から追跡します。モデルの賢さだけでなく、学習過程と音声パイプラインの設計が、選ばれる理由になりそうです。
dots.llm1は、2025年6月に公開されたMoEモデルです。MoEは、モデル全体のうち必要な一部だけを動かして計算を減らす構造です。総パラメータは142B、推論時に実際に動く(活性化する)のは14Bとされています。この構成で、Qwen2.5-72Bと同等の性能を目指したと説明されています。注目は学習データです。事前学習に合成データ(人工的に作ったデータ)を使わず、高品質な非合成トークンを用いました。データを段階的に整える3段階の処理フレームワークも提案されています。さらに、学習途中の中間チェックポイントがオープンに公開されています。重みだけでなく学習の動きを追える点は、研究者やhacker的な試行に有用です。[1]
モデルの構造も細かく公開されています。学習段階は事前学習と、SFT(例を示して応答の仕方を学ばせる追加学習)です。注目箇所を決める層には、QK-Norm(数値を安定させる仕組み)付きのMulti-head Attentionを使います。MoEは、128の専門家(役割の違う小さなネットワーク)から6つを選び、共通の専門家2つも足します。層数は62、注意ヘッド数は32です。コンテキスト長(一度に扱える文章量)は32,768トークンです。対応言語は英語と中国語で、ライセンスはMITです。Hugging Faceのコレクションからは、baseとinstruction-tunedの両方に触れられます。ローカル推論のセットを組む人には、この公開範囲は大きいです。[1]
ただし、ローカル推論の現場で気になるのは速度です。何枚のGPUで、どの量子化(重みを圧縮してメモリを節約する仕組み)で動かすか。何トークン/秒出るかという実測値は、素材からは見つかりませんでした。14B活性という数字は効率のヒントになります。しかし、必要なVRAM(GPU側のメモリ)の量やGPU間の分担、読み込みと生成の速度差までは示されていません。公開情報からは、メモリ使用量やスループットの目安を直接引き出せません。ここは正直に置いておき、次のdots.ttsへ移ります。[1]
dots.ttsは、2Bパラメータの音声合成モデルです。エンドツーエンドの自己回帰型(前の出力をもとに次を順に作る方式)で、完全に連続的な設計です。内部は、意味を数値に変える部分とLLM、音響を生成する音響ヘッドの組み合わせです。これらを、48kHzのAudioVAE(音を内部表現に変えて復元する仕組み)の上に載せます。音を離散トークン(区切ったコード)に変換せず、連続のまま扱う点が特徴です。Seed-TTS-Evalでは、中国語・英語・難しい中国語(zh-hard)の3つで測っています。WER(音声認識の誤り率)は、それぞれ0.94%、1.30%、6.60%です。話者類似度SIMは81.0、77.1、79.5と報告されています。24言語のMiniMaxベンチマークでは、平均話者類似度83.9で最高平均とされています。生成安定性、声質クローン、感情表現が強いとされています。[2]
音声合成の周辺も動いています。dots.tts.editでは、指示で音声を編集できるとされます。評価用のdoteBench V1.0も公開されました。英語と中国語の2,081ケースで評価する試みです。対象はテキスト、感情、韻律(抑揚やリズム)、ポーズ、複合編集で、XML形式を優先します。推論エンジンのSGLang Omniは、dots.ttsの複数変種に対応しています。音声を溜めず順に送るストリーミングや、計算をまとめて高速化する仕組みにも触れています。公開変種は、dots.tts-mf-2steps、dots.tts-mf-1step、dots.tts-mf-2steps-stts、soar、baseの5つです。Seed-TTS-Evalの英語では、H100 1枚、dots.tts-mf、生成ステップ数4という条件の例も載っています。ただし、STTSのサービングには制約があります。現状は完全なテキストか、まとめて用意したトークン列を受け取る形のみで、生成中のリクエストへ後からトークンを足す方式には対応していません。[2]
ここで一度、勢いを裏返す視点を入れます。dots.llm1の対応言語は英語と中国語に限られます。日本語中心のローカル推論では、前処理や評価の設計が別途必要と思われます。dots.ttsも、zh-hardのWERは6.60%あり、日本語のような別言語への転用は素材からは読み取れません。さらに、ローカル推論の実測TPSやGPU構成が示されていないため、「軽いから速い」とは言い切れません。評価ページやツール解説はdots.llm1やdots.mocrにもあり、比較の入口は増えています。ただし、本文で使える具体的な比較数値は公式リポジトリの範囲に寄っています。[1][2][3][4]
それでも見えてくるのは、モデル単体の賢さより、学習過程と音声パイプラインの設計が選ばれる時代です。dots.llm1は中間チェックポイントで再現性を示し、dots.ttsは離散トークンを外した連続表現で安定と表現力を狙います。中間チェックポイントと音声編集ベンチマークが並んだことで、Dotsは単発のモデル公開ではなく、追試と評価の場として動き出しています。まずは公式リポジトリの公開範囲とベンチマーク数値を軸に、自分の環境で追試したくなります。次の関心は、ローカル推論のセットでどこまで速く、どこまで自然に流せるかです。[1][2]
引用ソース
- Web記事 記事全文: GitHub – studio-dots-ai/dots.llm1: The official repository of the dots … — https://github.com/studio-dots-ai/dots.llm1
🤗 Hugging Face | 📑 Paper
🖥️ Demo | 💬 WeChat (微信) | 📕 rednote | 𝕏 X
Visit our Hugging Face (click links above), search checkpoints with names starting with dots.llm1 or visit the dots1 collection - Web記事 記事全文: GitHub – studio-dots-ai/dots.tts · GitHub — https://github.com/studio-dots-ai/dots.tts
dots.tts is a 2B-parameter fully continuous, end-to-end autoregressive (AR) text-to-speech system. The backbone pairs a semantic encoder, an LLM, and an autoregressive flow-matching acoustic head over a 48 kHz AudioVAE,
- Web記事 Web検索: Performance and Evaluation | rednote-hilab/dots.llm1 | DeepWiki — https://deepwiki.com/rednote-hilab/dots.llm1/4-performance-and-evaluation
Performance and Evaluation | rednote-hilab/dots.llm1 | DeepWiki
- Web記事 Web検索: Evaluation and Tooling | studio-dots-ai/dots.mocr | DeepWiki — https://deepwiki.com/studio-dots-ai/dots.mocr/5-evaluation-and-tooling
Evaluation and Tooling | studio-dots-ai/dots.mocr | DeepWiki
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS