PDFの中の表や数式を、レイアウトごと正確に取り出せたら——。文書解析に特化した小型AIモデル「dots.ocr」が「dots.mocr」へと刷新され、注目を集めています。開発はGitHubのrednote-hilabで、多言語の文書レイアウト解析とOCRを、3BパラメータのVLM(画像とテキストを1つのモデルで扱える仕組み)で行うのが特徴です[1]。
ポイントは「統合」です。従来の文書解析では、レイアウト検出とOCR(文字認識)を別々のツールを使った構成でつなぐのが一般的でした。dots.ocrはレイアウト検出・内容認識・グラフィックの構造解析までを、単一のモデルアーキテクチャにまとめています[1]。タスクの切り替えはプロンプト(指示文)の内容で行い、テキスト・表・数式など目的ごとの指示を使い分けます[1]。解析全体はDotsOCRParserというクラスが取りまとめ、PDFや画像の入力をMarkdownやJSONの構造化出力へ変換します[2]。単一モデルで済むぶん、システムの構成がシンプルになるのが利点のようです。
対応範囲も広いです。文書画像やPDFに加え、Web画面や写真の中の文字(シーンテキスト)まで扱えます[1]。多様な文書タイプと多言語の文字種への対応をうたうため、日本語文書の解析にも使える可能性がありそうです[1]。開発の系譜も素材から読み取れます。視覚エンコーダのdots.vitを土台に、OCR向け基盤のdots.ocr.baseを経て、初代dots.ocrは1.7Bパラメータでした。今回のdots.mocrはその3Bへの拡張バージョンで、素材では「旧dots.ocr-1.5」とも説明されています[1][2]。初代の1.7Bから3Bへ、およそ1.8倍の増強です。同サイズ(3B)の中では最高水準(SOTA)の性能とされています[2]。
評価方法もユニークです。Gemini 3 Flashを「審査員」に立て、モデルの出力を正解データと比べるEloスコア(相対的な強さを順位づける指標)で競わせます[1][2]。審査員への指示は徹底した内容です。フォーマットの違いは無視し、テキスト・表・数式の内容の正確さだけを厳密に見るよう定めています[2]。審査員用のプロンプトを組み立てるスクリプトもリポジトリで公開されています[2]。評価対象は学術論文・表・複雑なレイアウトを対象としたベンチマークで、複雑な文書10万ページ超を使います[2]。temperatureを0.1に、最大出力トークン数を16384に固定するなど、再現性も確保しています[2]。
図表をコードへ変換する特化版dots.mocr-svgもあり、視覚的な構造のコード化で高いスコアを記録したと報告されています[1][2]。ローカルで動かす道も用意されています。1つはvllmという推論サーバ用ツールを使う方法で、モデル登録用の補助ツールの利用も案内されています。もう1つはtransformersから読み込み、flash_attention_2(AIが文脈を見るAttention計算を高速化する実装)を組み合わせる方法です[1]。モデルはHugging Faceでも公開されています[6]。
一方で、素材から読み取れる範囲には限界もあります。ベンチマークの具体的なスコア数値は、今回の素材には確認できませんでした。最高水準という評価も、Gemini 3 Flashという外部の大規模モデルの審査に依存しています[2]。内容の正確さだけを見る設計は公平な一方、出力の整形の美しさは評価に入りません。実務で重視する見た目の整いやすさは、別の問題として残るようです。名称もdots.ocrからdots.mocrへと変わり、有志のミラーリポジトリが現れるなど[5]、情報の追跡には少し手間がかかります。
前回この連載で取り上げたdots.llm1(142B中14Bだけを動かすMoE)は汎用LLMでした。その技術報告PDFはGitHubで確認できます[3][4]が、今回の検索結果から新しい実測数値は得られませんでした。大型の汎用LLMと3Bの文書解析特化モデルが、Dotsの名で並行して進む形です。3Bの小ささはローカル推論と相性がよく、PDFからの構造化需要をにらみながら、dots.mocr系の動きを追い続けたいところです。
引用ソース
- Web記事 記事全文: rednote-hilab/dots.ocr | DeepWiki — https://deepwiki.com/rednote-hilab/dots.ocr
dots.ocr is a multilingual document layout parsing and multimodal OCR system built on a 3B parameter Vision-Language Model (VLM). It unifies layout detection, content recognition, and structured graphics parsing within a
- Web記事 記事全文: Performance Benchmarks | rednote-hilab/dots.ocr | DeepWiki — https://deepwiki.com/rednote-hilab/dots.ocr/1.2-performance-benchmarks
This document presents comprehensive performance evaluation results for the dots.ocr and dots.mocr systems across multiple standardized benchmarks. It covers quantitative metrics, comparative analysis against competing m
- Web記事 Web検索: PDF dots.llm1/dots1_tech_report.pdf at main · studio-dots-ai/dots.llm1 · GitHub — https://github.com/studio-dots-ai/dots.llm1/blob/main/dots1_tech_report.pdf
PDF dots.llm1/dots1_tech_report.pdf at main · studio-dots-ai/dots.llm1 · GitHub
- Web記事 Web検索: GitHub – studio-dots-ai/dots.llm1: The official repository of the dots … — https://github.com/studio-dots-ai/dots.llm1
GitHub – studio-dots-ai/dots.llm1: The official repository of the dots …
- Web記事 Web検索: GitHub – SkyrookieYu/dots.ocr_rednote-hilab: Multilingual Document … — https://github.com/SkyrookieYu/dots.ocr_rednote-hilab
GitHub – SkyrookieYu/dots.ocr_rednote-hilab: Multilingual Document …
- Web記事 Web検索: README.md · rednote-hilab/dots.ocr at main – Hugging Face — https://huggingface.co/rednote-hilab/dots.ocr/blob/main/README.md
README.md · rednote-hilab/dots.ocr at main – Hugging Face
※ 本記事はAIにより、Reddit・Hacker News・5ch・Xトレンドの公開投稿・トレンドを軸に、その話題をWeb検索で深掘りして集めた一次情報(記事全文・HNコメント)を併せて自動生成されました。本文中の[n]は末尾の引用ソース番号です。内容の正確性は保証されません。引用先を必ずご確認ください。
RECENT COMMENTS