142BのMoEモデル「dots.llm1」を、実際にどう動かすのか。デプロイガイドが整備され、推論環境の選択肢がはっきり見えてきました[1]。学習データの中身を追った前回までの記事から一歩進めて、今回は「手元やサーバーで動かす」側面を整理します。
dots.llm1は、処理を複数の専門家ネットワークに分担させるMoE構造のモデルです。入力トークンごとに、どの専門家に渡すかを動的に決めます[2]。実際に計算に使うのは14Bのパラメータだけ。学習と推論のコストを下げるために選ばれた構造です[2]。ただしモデル全体は142Bあります。この「計算は軽い、でも実体は大きい」性質が、環境構築の鍵になります。
ガイドが示す方法は3つです[1]。1つ目はDocker。依存関係込みのイメージが配布されており、取得、起動、動作確認の手順が案内されています。起動時のパラメータも表にまとめられ、もっとも確実な方法とされています[1]。2つ目はvLLM。コンテナを使わず直接動かす方法で、OpenAI互換のAPIがローカルの8000番ポートで使えます[1]。3つ目はSGLang。大規模MoE向けにメモリ管理を最適化したエンジンで、高スループット(単位時間あたりの処理量)を狙った構成です[1]。
ただし、ハードウェアの壁は厚いようです。ガイドは、142Bの総パラメータのために相当な計算資源が必要と明記しています[1]。MoEは計算を14B分に絞っても、全エキスパートの重みをメモリに保持しておく必要があります。振り分け先の候補を常に持っておくためです。以前の追跡記事でも「VRAMやRAMへの負担は総パラメータ基準になるでしょう」との見立てを紹介しました。なお、今回の素材にはGPU枚数やVRAM容量の具体値、実測TPS(1秒あたりの生成トークン数)は含まれていませんでした。この点は正直に記しておきます。
性能面の評価も整理されています。技術レポートによると、11.2Tトークンの事前学習と事後学習を経て、Qwen2.5-72Bに匹敵する性能に達したとのことです[2]。事後学習でモデルの能力を引き出した、と説明されています[2]。事前学習に合成データを使わなかった点は、前回記事で触れたとおりです。ベンチマークの詳細は専用ページにまとめられていますが[6]、今回の素材には具体的なスコアは含まれていませんでした。公式リポジトリはGitHubで公開されており[3]、研究用途ではモデルを直接読み込む使い方も案内されています[1]。
ここが転換点です。142Bを丸ごと載せられる環境を、個人が用意するのは簡単ではありません。そこで周辺の動きが効いてきます。OCRとレイアウト解析を担うdots.mocrには、GGUF形式の版がHugging Faceで公開されています[7]。GGUFはローカル推論でよく使われるモデルファイル形式で、量子化(重みを圧縮してメモリを節約する仕組み)と組み合わせて使われます。以前取り上げたdots.mocr追跡記事の実測メモでは、初代の1.7Bから3Bへ約1.8倍の増強とありました。3Bなら一般のPCでも動く規模です。
多言語の文書レイアウト解析を扱うdots.ocrの公式リポジトリも公開されています[4]。ローカル開発の手順もドキュメント化されました[8]。2026年のローカル推論は、Ollama、vLLM、SGLang、GGUF量子化がキーワードだとまとめられています[5]。小さなモデルを手元で動かす流れは、加速しているようです。
こうして見ると、Dotsファミリーの役割分担がはっきりしてきました。dots.llm1はQwen2.5-72B相当の性能を引っ張る、サーバー向けの主力です[2]。Docker、vLLM、SGLangの3ルートが整備され、運用の入り口は下がりました[1]。一方、手元のPCで動かすなら、dots.mocr系をGGUFで動かす道が現実的な選択肢になります[7]。大きなモデルはどこで動かし、小さなモデルはどこで動かすのか。その設計を考える材料がそろってきた、というのが今回の追跡の収穫です。
引用ソース
- Web記事 記事全文: Deployment Guide | rednote-hilab/dots.llm1 | DeepWiki — https://deepwiki.com/rednote-hilab/dots.llm1/3-deployment-guide
Deployment Guide
Relevant source files
This document provides comprehensive instructions for deploying and serving the dots.llm1 model system. It covers all supported deployment methods, from the recommended Docker appro - Web記事 記事全文: dots.llm1 Technical Report – arXiv.org — https://arxiv.org/html/2506.05767v1
dots.llm1 Technical Report
Abstract
Mixture of Experts (MoE) models have emerged as a promising paradigm for scaling language models efficiently by activating only a subset of parameters for each input token. In this rep - Web記事 Web検索: GitHub – studio-dots-ai/dots.llm1: The official repository of the dots … — https://github.com/studio-dots-ai/dots.llm1
GitHub – studio-dots-ai/dots.llm1: The official repository of the dots …
- Web記事 Web検索: GitHub – studio-dots-ai/dots.ocr: Multilingual Document Layout Parsing … — https://github.com/studio-dots-ai/dots.ocr
GitHub – studio-dots-ai/dots.ocr: Multilingual Document Layout Parsing …
- Web記事 Web検索: Local LLM Inference 2026 — Ollama, vLLM, SGLang, GGUF Quantization … — https://singularitymoments.com/local-llm-inference-2026/
Local LLM Inference 2026 — Ollama, vLLM, SGLang, GGUF Quantization …
- Web記事 Web検索: Performance Benchmarks | rednote-hilab/dots.llm1 | DeepWiki — https://deepwiki.com/rednote-hilab/dots.llm1/4.1-performance-benchmarks
Performance Benchmarks | rednote-hilab/dots.llm1 | DeepWiki
- Web記事 Web検索: README.md · polymer/dots.mocr-GGUF at main – Hugging Face — https://huggingface.co/polymer/dots.mocr-GGUF/blob/main/README.md
README.md · polymer/dots.mocr-GGUF at main – Hugging Face
- Web記事 Web検索: Local Development Setup | blueslash2/dots.ocr | DeepWiki — https://deepwiki.com/blueslash2/dots.ocr/5.3-local-development-setup
Local Development Setup | blueslash2/dots.ocr | DeepWiki
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS