MonkeyOCRv2: A Visual-Text Foundation Model for Document AI

📄 arXiv: 2607.11562v1 📥 PDF

作者: Yuliang Liu, Zhang Li, Ziyang Zhang, Shuo Zhang, Qiang Liu, Jiajun Song, Zidun Guo, Xinhan Wang, Handong Zheng, Yang Liu, Dongliang Luo, Zhiyin Ma, Jiarui Zhang, Xiang Bai

分类: cs.CV

发布日期: 2026-07-13

💡 一句话要点

提出MonkeyOCRv2以解决文档图像处理中的视觉文本理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档图像处理 视觉文本理解 预训练模型 文档AI 字符级视觉感知 多模态学习 文档解析 文档理解

📋 核心要点

  1. 现有视觉编码器主要在自然图像上预训练，无法满足文档图像的字符级视觉感知需求。
  2. 提出MonkeyOCRv2，通过构建大型文档图像语料库和联合学习图像到文本生成与文档重建，提升文档处理能力。
  3. 在五个文档分析任务上进行实验，结果显示MonkeyOCRv2在性能上均优于原有编码器，尤其在文档解析任务中表现突出。

📝 摘要（中文）

现有主流视觉编码器在自然图像上预训练，无法有效应用于文档图像。为此，本文提出MonkeyOCRv2，一个针对文档AI的视觉-文本预训练模型。首先，构建了MonkeyDoc v2，这是迄今为止最大的文档图像预训练语料库，包含1.13亿张图像，覆盖17种语言。其次，提出了一种预训练策略，联合学习图像到文本生成和像素级文档重建，前者对齐视觉表示与文本内容，后者保留字符笔画和布局细节。通过在五个文档分析任务上的广泛实验，验证了MonkeyOCRv2的有效性，替换原始编码器后，所有任务的性能均有显著提升。

🔬 方法详解

问题定义：本文旨在解决现有视觉编码器在处理文档图像时的不足，尤其是字符级视觉感知能力的缺失。现有方法在文档图像上表现不佳，无法有效识别密集文本和细致的字符笔画。

核心思路：提出MonkeyOCRv2，通过构建MonkeyDoc v2语料库和联合学习图像到文本生成与文档重建，增强模型对文档图像的理解能力。这样的设计使得模型能够同时关注文本内容和视觉细节。

技术框架：整体架构包括两个主要模块：图像到文本生成模块和像素级文档重建模块。前者负责将图像信息转化为文本，后者则重建文档的视觉特征，确保字符笔画和布局的完整性。

关键创新：最重要的创新在于构建了一个大规模的文档图像预训练语料库，并提出了联合学习的预训练策略。这与现有方法的单一任务训练方式形成鲜明对比，显著提升了模型的文档理解能力。

关键设计：在模型设计中，采用了特定的损失函数来平衡图像生成和文档重建的任务，同时优化了网络结构以适应文档图像的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五个文档分析任务中，MonkeyOCRv2替换原始编码器后，性能均有显著提升。在MDPBench基准测试中，新的文档解析模型以0.7B参数量超越了3B参数的最佳基线，提升幅度达2.8%。此外，在八个基准测试中，其文档理解能力也优于基于CLIP、DINO和SAM的模型。

🎯 应用场景

MonkeyOCRv2在文档AI领域具有广泛的应用潜力，能够用于文本识别、公式识别、文档篡改检测等任务。其高效的文档解析能力使其在数字化文档处理、法律文书分析和教育领域等方面具有重要的实际价值，未来可能推动文档智能化的发展。

📄 摘要（原文）

Mainstream visual encoders are pretrained on natural images and cannot be effectively applied to document images without document-oriented adaptation, as dense text and fine-grained character strokes demand character-level visual perception. We present MonkeyOCRv2, a visual-text pretrained model for document AI. First, we construct MonkeyDoc v2, to our knowledge the largest document-image pretraining corpus, comprising 113 million images spanning 17 languages. Second, we propose a pretraining strategy that jointly learns image-to-text generation and pixel-level document reconstruction: the former aligns visual representations with textual content, while the latter preserves character strokes and layout details. Extensive experiments are conducted on five representative document analysis tasks, including text recognition, formula recognition, text detection, document tampering detection, and overlapping text segmentation. Replacing the original encoders with MonkeyOCRv2 consistently improves performance across all five tasks. Finally, we validate its effectiveness as the vision encoder of multimodal large language models on the more challenging tasks of document parsing and document understanding. Kept frozen and paired with a lightweight language model, it yields a 0.7B document parsing model that sets a new open-source state-of-the-art on MDPBench, a recent benchmark spanning digital-born and photographed documents across 17 languages, surpassing the previous best 3B dots.mocr by 2.8% absolute with a vision encoder roughly 11$\times$ smaller. The frozen encoder also powers a document understanding model that outperforms counterparts built on CLIP, DINO, and SAM across eight benchmarks under identical training settings. These results suggest that document-oriented visual pretraining can serve as a foundation for document intelligence in its own right.