Let's take a drive.

「全体で1420億あるパラメータを、1トークンあたり動かすのは140億だけ」。そんな大胆な設計を掲げるAIモデル「dots.llm1」が、arXivに投稿された技術報告とともに改めて注目を集めています[1]。前回は音声編集と低遅延の動きを追いました。今回はその設計の根幹にあたる報告です。開発元はGitHubに公式リポジトリを用意し、モデル本体だけでなく学習途中の資料まで公開しています[3]。

dots.llm1の核は、MoE(混合エキスパート)と呼ばれる方式です。モデル内部を複数の「専門家」に分け、入力トークンを必要な一部の専門家へ振り分けます[1]。これにより規模を大きくしつつ計算量を抑えられ、学習と推論のコスト削減がうたわれています[1]。報告によれば、総パラメータは1420億、同時に動くのは140億です。全体の約10分の1だけを動かす計算になります。高品質なトークン11.2兆での事前学習に加え、指示に従う力を仕上げる事後学習を経て、Qwen2.5-72Bに匹敵する性能に達したとしています[1]。報告の冒頭では、QwenやDeepSeek、Mistralなどオープンソース陣営が閉じたモデルとの差を縮めている現状にも触れられています[1]。

学習データへの姿勢も興味深い点です。事前学習には合成データを一切使わなかったと明記されています[1]。合成データとは、AIに生成させて作る学習用データのことです。入念に作り込んだデータ処理パイプラインで品質を確保した、と報告は説明しています[1]。構成も細かく示されました。振り分け先のエキスパートが128個、すべての入力で共通に動く共有エキスパートが2個です[2][6]。専門家への仕事の分散具合や利用率も、効率の測定対象になっています[2]。ベンチマークでは、指示チューニングを施した版がタスク別の評価で特に強さを見せたとまとめられています[2]。

さらに珍しいのが、学習途中のバージョン(チェックポイント)を、1兆トークン学習するごとに公開している点です[1]。11.2兆トークンの学習であれば、途中経過が11か所以上残る計算になります。巨大モデルがどこで何を覚えていくのか、学びの過程そのものに価値ある洞察を与える狙いが強調されています[1]。外から観察できる資料は少なく、オープンソースのカルチャーになじむ公開として、研究ハッカーの手がかりになりそうです。

では、ローカル推論はどこまで現実的なのでしょう。気になるのは具体的な構成です。GPUの枚数、VRAMの容量、量子化の指定、実測のTPS。量子化は、数値の精度を落としてメモリを節約する手法です。TPSは1秒あたりに生成できるトークン数です。今回の素材には、こうした数値は見つかりませんでした。わかるのは、Dockerを使ったセッティングが使いやすさと性能のバランスで最適とされること[2]、マルチGPU構成ではエキスパート並列が効くこと[2]くらいです。エキスパート並列は、専門家ごとの部分を複数のGPUに分けて置く方式です。

計算量は1回の推論セッションあたり140億パラメータ分で済みます。一方、1420億のモデル全体を保持する必要があります。保持にはそれなりのメモリが要ると考えられます。ローカルで動かす場合、この保持サイズが最初の関門になります。さらに、同じモデルでもサービングフレームワーク(モデルを提供する側のソフトウェア)や動かし方の構成で、性能が大きく変わるという指摘があります[2]。報告どおりの効率に届くかは、環境の作り込み次第です。MoEの利点をローカルで引き出すには、エキスパートの配置や並列化、負荷分散の調整が効いてきます。効率的なリソース利用が評価されるモデルだからこそ[2]、実測値の共有が待たれるところです。

一方、開発元の動きはモデル一本ではありません。多言語の文書レイアウト解析をうたう「dots.ocr」もGitHubで公開されています[4]。見出しや表、本文の位置を機械に読み取らせる処理です。導入手順やDockerでの実行方法も整理されています[5][6]。巨大モデルの推論基盤と、実務で使いやすい応用ツールを両輪で進めています。文書解析はローカルで動かす需要が多い領域だけに、こちらの実測報告も待たれます。

まとめると、dots.llm1は「動かす部分を絞って巨大モデルを使う」道を、具体数値つきで示した事例です。1420億に対し140億、11.2兆トークン、Qwen2.5-72B相当という数字は、MoEという選択の重みを物語っています[1]。中間チェックポイントの公開は、学びの過程の理解を進める一歩です。一方、ローカル推論の実測値はまだコミュニティ側に委ねられています。前回追った低遅延の動きと合わせれば、Dotsは「軽く動かす」方向を複数の面から攻めていることがわかります。量子化や実測レポートが揃えば、142Bクラスの巨大MoEがぐっと身近になるかもしれません。

引用ソース

1. Web記事 記事全文: dots.llm1 Technical Report – arXiv.org — https://arxiv.org/html/2506.05767v1
   

   dots.llm1 Technical Report
   Abstract
   Mixture of Experts (MoE) models have emerged as a promising paradigm for scaling language models efficiently by activating only a subset of parameters for each input token. In this rep

2. Web記事 記事全文: Performance Benchmarks | rednote-hilab/dots.llm1 | DeepWiki — https://deepwiki.com/rednote-hilab/dots.llm1/4.1-performance-benchmarks
   

   This document presents performance evaluation data and benchmark results for the dots.llm1 model family. It covers model quality metrics, efficiency measurements, and comparative analysis across different deployment conf

3. Web記事 Web検索: GitHub – studio-dots-ai/dots.llm1: The official repository of the dots … — https://github.com/studio-dots-ai/dots.llm1
   

   GitHub – studio-dots-ai/dots.llm1: The official repository of the dots …

4. Web記事 Web検索: GitHub – studio-dots-ai/dots.ocr: Multilingual Document Layout Parsing … — https://github.com/studio-dots-ai/dots.ocr
   

   GitHub – studio-dots-ai/dots.ocr: Multilingual Document Layout Parsing …

5. Web記事 Web検索: Deployment and Inference | rednote-hilab/dots.ocr | DeepWiki — https://deepwiki.com/rednote-hilab/dots.ocr/5-deployment-and-inference
   

   Deployment and Inference | rednote-hilab/dots.ocr | DeepWiki

6. Web記事 Web検索: Model Architecture | rednote-hilab/dots.llm1 | DeepWiki — https://deepwiki.com/rednote-hilab/dots.llm1/2-model-architecture
   

   Model Architecture | rednote-hilab/dots.llm1 | DeepWiki

7. Web記事 Web検索: Docker Deployment | rednote-hilab/dots.ocr | DeepWiki — https://deepwiki.com/rednote-hilab/dots.ocr/5.3-docker-deployment
   

   Docker Deployment | rednote-hilab/dots.ocr | DeepWiki

※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。

• Tweet