142Bのパラメータを持ちながら、推論で動かすのは14Bだけ。前回の追跡記事で構造を紹介したDotsファミリーの大規模MoE「dots.llm1」です。2025年6月6日にシリーズとして公開されたモデルで、今回あらためて素材が集まりました[1][2]。前回は構造を紹介したので、今回は設計の思想と公開のされ方を掘り下げます。読み直してみると、注目すべきは規模の割り切りだけではありません。合成データを使わない事前学習と、学習の途中経過を丸ごと公開するという、作り方の方向性がはっきり見えてきます[1][2]。
dots.llm1の事前学習では、合成データ(モデルに作らせた学習用データ)を使わず、質の高い実データだけで学習しています[1]。そのために用意したのが、大規模で多様なデータをそろえる3段階のデータ処理フレームワークです[1]。開発元はこの処理工程を、スケールしやすく細かく作り込んだものと説明しています[1]。その結果、ベースモデルはQwen2.5-72Bに匹敵する性能に達したとしています[1][2]。Qwen2.5-72Bは72Bのパラメータを持つ既存の人気モデルです。動くパラメータは14Bながら、これに並ぶ性能を出したことになります。合成データを避けた詳しい理由は素材からは読み取れませんが、データの質で性能を稼ぐ姿勢がうかがえます。
もうひとつの特徴は、学習の全過程にわたる中間チェックポイント(学習の途中経過ごとに保存したモデルの重み)を公開している点です[1][2]。大規模言語モデルが学習の途中で何を覚え、どう変化していくのかを追える資料は珍しく、開発元も学習ダイナミクスの研究に役立つと期待を示しています[1]。ライセンスはMITで、ベースモデルと指示応答向けにチューニングしたモデルの両方がそろっています[1][2]。コードはGitHubに、重みはHugging Faceに置かれ[1][2]、デモも用意されています[1]。WeChatやrednote、Xといった連絡窓口も設けられています[1]。
構造の詳細も整理できます。アテンション層にはQK-Normを組み込んでいます。QK-Normは計算を安定させるための正規化です。層数は62、アテンションヘッドは32で、学習は事前学習とSFT(指示に答える応答を教える追加学習)の2段階です[1]。推論時に動くパラメータを絞りつつ性能を保つ狙いは、前回の追跡記事で見た通りです。
一方で、使う側には現実的な壁もあります。MoEは動かすパラメータが少なくても、モデル全体の重みはメモリに載せておく必要があると考えられます。142Bモデルとなると、VRAMやRAMへの負担は総パラメータ基準になるでしょう。AIモデルをローカルで動かすなら、量子化(重みを圧縮してメモリを節約する仕組み)などの工夫が不可欠です。素材にはllama.cppやGGUF(llama.cppで使う重みファイルの形式)、量子化を解説するガイドも含まれています[3]。ただしガイドは基礎の解説が中心で、dots.llm1固有の構成例は含んでいないようです。実際に動かした実測TPSやベンチマークスコアも、素材からは確認できませんでした。以前の実測メモでも、技術報告からはスコアもTPSも確認できなかったと書いた通りです。
対応言語も課題です。dots.llm1の公式の対応言語は英語と中国語で、日本語は明記されていません[1]。日本語でローカル運用する場合は、性能に割り引きが生じる可能性を踏まえておく必要があると思われます。その一方で、dotsファミリーは広がりを見せています。同じ「dots」の名を持つdots.ocrは多言語の文書レイアウト解析を扱うモデルで、リポジトリはrednote-hilabというアカウントで公開されています[3][3]。評価手法と性能ベンチマークを別々にまとめた文書や、ベンチマークスコアを集めたページが整備され[3][3][3]、arXivでも論文が公開されています[3]。ただし素材では文書の存在までしか確認できず、スコアの中身までは読み取れませんでした。以前取り上げたdots.mocr追跡記事の実測メモでは、初代の1.7Bから3Bへ約1.8倍の増強とありました。OCR系は小規模・特化、dots.llm1は大規模・汎用と、役割分担が見えてきます。
dots.llm1の公開は、性能の数字を競うだけではないメッセージを持っています。合成データに頼らない学習の道筋と、学習の全過程を公開する姿勢は、再現性や研究の土台として価値が高いと考えられます。学習の途中でモデルがどう変わるかは、通常は開発元の内部情報でしか見えません。それを広く開くことで、他の開発者がデータ処理や学習設計を検証しやすくなるはずです。一方で、日本語対応の明記がない点と実測値の不足は残された課題です。ローカル推論でどこまで実力を出せるかは、量子化などの検証が進む次のステップ待ちと言えそうです。
引用ソース
- Web記事 記事全文: GitHub – studio-dots-ai/dots.llm1: The official repository of the dots … — https://github.com/studio-dots-ai/dots.llm1
🤗 Hugging Face | 📑 Paper
🖥️ Demo | 💬 WeChat (微信) | 📕 rednote | 𝕏 X
Visit our Hugging Face (click links above), search checkpoints with names starting with dots.llm1 or visit the dots1 collection - Web記事 記事全文: dots-studio/dots.llm1.inst · Hugging Face — https://huggingface.co/dots-studio/dots.llm1.inst
🤗 Hugging Face | 📑 Paper
🖥️ Demo | 💬 WeChat (微信) | 📕 rednote
Visit our Hugging Face (click links above), search checkpoints with names starting with dots.llm1 or visit the dots1 collection, and you wil - Web記事 Web検索: Local LLM Inference : llama.cpp, GGUF, Quantizations and GGML Explained — https://read.theaimerge.com/p/an-ai-engineers-guide-to-running
Local LLM Inference : llama.cpp, GGUF, Quantizations and GGML Explained
- Web記事 Web検索: Evaluation and Benchmarking | rednote-hilab/dots.ocr | DeepWiki — https://deepwiki.com/rednote-hilab/dots.ocr/7.3-evaluation-and-benchmarking
Evaluation and Benchmarking | rednote-hilab/dots.ocr | DeepWiki
- Web記事 Web検索: Performance Benchmarks | rednote-hilab/dots.ocr | DeepWiki — https://deepwiki.com/rednote-hilab/dots.ocr/1.2-performance-benchmarks
Performance Benchmarks | rednote-hilab/dots.ocr | DeepWiki
- Web記事 Web検索: dots.ocr Benchmark Scores & Evals | BenchmarkList — https://benchmarklist.com/models/rednote-hilab-dots-ocr/
dots.ocr Benchmark Scores & Evals | BenchmarkList
- Web記事 Web検索: dots.ocr: Multilingual Document Layout Parsing — https://arxiv.org/html/2512.02498v3
dots.ocr: Multilingual Document Layout Parsing
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS