続・Dots追跡:dots.llm1技術報告公開、専門家128人のMoE設計

📌 エグゼクティブサマリー
Dotsシリーズの言語モデルdots.llm1の技術報告がarXivで公開されました。128の選択型専門家と2つの共有専門家を持つMoE構成で、ベンチマークでは競争力を示す一方、実行環境で性能が大きく変わる点が注目です。ローカル推論の実測値はまだ素材になく、今後の検証が待たれます。

「Dots」と聞いてOCRモデルを思い浮かべる方は多いのではないでしょうか。前回の追跡記事では、dots.ocrがdots.mocrへと名前を変え、図表をSVGコードに変換する進化を追いました。今回は視点を切り替えて、シリーズの土台となる言語モデル本体「dots.llm1」を取り上げます。技術報告がarXivで公開され、MoE構造の設計やベンチマークの結果を公式に確認できるようになったことが、今回最大の動きです[1]。

報告のタイトルは「dots.llm1 Technical Report」で、arXiv IDは2506.05767、2025年6月の公開です[1]。著者は27名にのぼり、分類は計算言語学と人工知能の2分野、PDF全文が誰でも読める形で公開されています[1]。GitHubではstudio-dots-ai/dots.llm1が公式リポジトリとして案内され[4]、解説サイトのDeepWikiもrednote-hilab/dots.llm1として詳細な分析ページを公開しています[2]。dots.llm1は単一のモデルではなくファミリーとして展開されており、指示に従うよう調整されたinstruction-tuned版などのバリエーションが存在します[2]。

dots.llm1の心臓部はMoE(Mixture of Experts、入力に応じて複数の専門家ネットワークの一部だけを使い分ける仕組み)です。全部の専門家を毎回動かすのではなく、必要な一部だけを計算に回すことで、大きなモデルでも計算量を抑えられます。DeepWikiのまとめによると、モデルは2種類の専門家で構成されます。入力ごとに選ばれる128のルーティング専門家と、常に働く2つの共有専門家です[2]。評価の枠組みも特徴的で、従来型の言語理解ベンチマークに加えて、専門家ごとの利用率や負荷の偏りといったMoE特有の効率指標まで複数の次元をカバーしています[2]。

性能面では、標準的な言語理解ベンチマークで競争力のあるスコアを示しています。特にinstruction-tuned版が、タスク別の評価で強さを見せました[2]。MoEならではの効率の利得を織り込めば、大規模言語モデル全体のなかでも競争的な立ち位置になるという評価です[2]。この効率性はマルチGPU構成でも発揮されます。専門家を複数のGPUに分担するexpert parallelism(専門家並列)の形で、特に効果が大きいと報告されています[2]。リソースの利用効率が高い点も共通の指摘です[2]。

ここでローカル推論の視点に移ります。素材には、Ollama、llama.cpp、vLLM、Text Generation Inferenceという主要な実行環境を比較する解説記事が、ほぼ同じ構成で2本並んでいます[3][6]。Ollamaを起点に幅広いツールを扱う開発者向けガイドもあり[5]、OllamaとvLLMの二本柱で手元実行を解説する2026年版のセットアップガイドまで登場しています[7]。LLMを手元で動かす流れが定番化していることがうかがえます。dots.llm1のようなMoEモデルでは、どの環境を選ぶかが性能を左右するだけに、この文脈は見過ごせません。

しかし、ここには正直に書くべき限界があります。dots.llm1をこれらの環境で動かした実測の速度や必要メモリ、量子化(重みを圧縮してメモリを節約する仕組み)の設定といった数値は、今回の素材からは見つかりませんでした。公式ベンチマークのスコアと、手元環境での実際の速さは別物だからです。さらに意外な指摘もあります。同じdots.llm1でも、どのサービングフレームワークで動かすかによって性能が大きく変わるというのです[2]。その中でDockerデプロイ(環境を丸ごとパッケージして動かす方式)が、使いやすさと性能のバランスで最適という評価です[2]。理由の詳細は素材からは読み取れませんが、環境差を埋める狙いがありそうです。数字は「モデル単体」ではなく「モデル×実行環境」のセットで見る必要があります。加えて、技術報告そのものはCC BY-NC-ND 4.0(非商用・改変禁止)のライセンスで公開されており[1]、報告内容の再利用には制約が付いています。

DotsシリーズはOCR特化モデルで注目を集めてきました。その土台となる言語モデルdots.llm1の中身が、技術報告の公開で公式に検証可能になりました。128+2という具体的な専門家構成[2]。そして実行環境で性能が変わるという指摘[2]。この2点は、ローカル推論でMoEモデルを試すときの共通の教訓にもなるはずです。コミュニティの手でOllamaやvLLMでの実測が積み上がれば、dots.llm1の本当の実力が見えてくると思われます。