Dotsの話題は、モデルの強さから「どう動かすか」へ移ったようです。dots.mocrでは、推論の入口を大きく二つに分けています。本番向けのvLLMと、手元開発向けのHuggingFace Transformersです。どちらを選ぶかは、サーバーを立てるか、自分のマシンで試すかで決まります。この設計は、backend-agnosticと呼ばれています。特定の推論基盤に縛られない、という意味です。その中心には、dots_mocr/model/inference.pyとDotsMOCRParserクラスがあります。[1]
vLLMは、大量の推論を速くさばくためのサーバー用エンジンです。dots.mocrはOpenAI互換APIでモデルサーバーに話しかけます。これは、よくあるWeb APIと同じ形で呼び出せる仕組みです。通信先は、プロトコルとIPとポートから作ります。画像はbase64というテキスト形式に直します。メッセージ内の画像項目に入れます。PILという画像処理ライブラリの変換処理が使われます。[1]
さらに、画像の始まりと終わりを示す専用トークンも使います。素材には、<|img|><|imgpad|><|endofimg|>という形が書かれています。これは、モデルに「ここから画像データです」と伝えるための目印です。DotsMOCRParserは、ユーザー要求から特定バックエンドへの流れを調整します。画像のエンコード、プロンプト作成、生成パラメータの管理も、ここでまとめて扱います。画像のエンコードは形式変換です。プロンプトは指示文の作成です。生成パラメータは出力の設定です。この流れは、parser.pyとinference.pyの図で示されています。[1]
サーバーを立てずに試すなら、HuggingFace Transformersです。パーサにローカル実行を指定すると、ローカル推論の道に入ります。内部では、モデル読み込みと推論実行が分担されます。モデルは./weights/DotsMOCRから読み込みます。AutoProcessorが画像の前処理をします。文字をモデルが扱う単位に直す処理もします。AutoModelForCausalLMという生成用のモデル部品を使います。重みの型とGPU/CPUの配置は、自動で決める指定です。[1]
高解像度の画像では、flash_attention_2が推奨されています。これは、画像と文字の対応を速く計算するための設定です。requirements.txtに、そのための記述があります。ローカル推論の続きには、qwen_vl_utilsという画像処理の部品への言及があります。ただし素材では途中で切れています。ローカル開発では、まずここで試します。本番ではvLLMへ移します。そんな使い分けが想定されているようです。以前取り上げたdots.mocr追跡記事の実測メモがあります。初代の1.7Bから3Bへ、約1.8倍の増強とありました。ただし今回の素材に、その条件での速度差はありません。[1]
DOTSという別のローカル運用の話題もあります。ここは「探す・取り込む・画像を作る」を分けています。Registryは、モデルの一覧です。設定ファイルconfigs/models.tomlと、生成されたmodelsテーブルで扱われます。Python 3.11+のバージョンで動きます。Hugging Face cacheやOllama、llama.cpp cacheをスキャンします。Draw Things checkpointsも対象です。ai-serverのmodels_dirも、設定されていれば調べます。Ollamaやllama.cppは、ローカルでモデルを動かすための実行環境です。有効化して、一覧から取り込みます。確認は./dots models discoverで行います。Dockerで使う管理済みGGUFがあります。Dockerはアプリを箱詰めして動かす仕組みです。これは別枠で扱われます。GGUFは圧縮したモデルを配布するためのファイル形式です。例のIDは、生成されたmodelsテーブルに載っています。[2]
画像生成はDraw Thingsというアプリ経由です。draw-things-cliというコマンドを使い、macOS向けです。コンポーネントを入れ、CLIを確認します。checkpointのダウンロードは明示的な選択です。checkpointは、学習済みモデルのファイルです。imgコマンドが勝手に取り込むことはありません。hacker好みの、手動で管理するセッティングです。参考として、tools catalogやAgents→Modelsも挙げられています。ai-serverは任意の追加機能です。Open WebUIとllama-serverをDockerで動かせます。models_dir(モデル置き場)にGGUFを取り込みます。既定のモデルに設定して起動します。探すコマンドは先に使い、管理したいときだけ取り込む流れです。ai-serverは、AI推論サーバーの全ライフサイクルを扱う役割です。[2]
dots.llm1、dots.ocr、dots.mocrの公式リポジトリやベンチマークページも検索結果にあります。dots.ocrは多言語の文書レイアウト解析をうたうリポジトリです。タイトルにはBenchmarksやPricingとあります。ただし本文素材に、具体的な推論速度やコストの数値はありません。オプションの比較表も、まだ素材に出ていません。つまり今度のDots追跡では、スコアより「どこで推論させるか」が中心に見えます。vLLMで安定運用します。ローカル開発ではHuggingFace Transformersで試します。DOTSでは、既存のローカル資産をまとめて探します。この切り分けが、AIを自分の環境で使うための実務的な鍵になりそうです。[1][2][3][3][3][6]
引用ソース
- Web記事 記事全文: Model Inference Backends | studio-dots-ai/dots.mocr | DeepWiki — https://deepwiki.com/studio-dots-ai/dots.mocr/2.2-model-inference-backends
This page details the two primary inference paths supported by the dots.mocr framework. The system is designed to be backend-agnostic, allowing users to choose between high-throughput serving via vLLM or local developmen
- Web記事 記事全文: Local models – DOTS — https://sempervent.github.io/dots/using/local-models/
Local models (discover, pull, image)¶
DOTS separates three ideas:
Registry and tiers: configs/models.toml in the repo and the
generated models table.
Discover¶
Works on any machine with Python 3.11+ (same as other DOTS h - Web記事 Web検索: GitHub – studio-dots-ai/dots.llm1: The official repository of the dots … — https://github.com/studio-dots-ai/dots.llm1
GitHub – studio-dots-ai/dots.llm1: The official repository of the dots …
- Web記事 Web検索: GitHub – studio-dots-ai/dots.ocr: Multilingual Document Layout Parsing … — https://github.com/studio-dots-ai/dots.ocr
GitHub – studio-dots-ai/dots.ocr: Multilingual Document Layout Parsing …
- Web記事 Web検索: Performance Benchmarks | rednote-hilab/dots.ocr | DeepWiki — https://deepwiki.com/rednote-hilab/dots.ocr/1.2-performance-benchmarks
Performance Benchmarks | rednote-hilab/dots.ocr | DeepWiki
- Web記事 Web検索: Dots Studio AI Models: Benchmarks & Pricing (October 2026) — https://benchlm.ai/providers/dots-studio
Dots Studio AI Models: Benchmarks & Pricing (October 2026)
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS