A Token-level Text Image Foundation Model for Document Understanding

📄 arXiv: 2503.02304v2 📥 PDF

作者: Tongkun Guan, Zining Wang, Pei Fu, Zhengtao Guo, Wei Shen, Kai Zhou, Tiezhu Yue, Chen Duan, Hao Sun, Qianyi Jiang, Junfeng Luo, Xiaokang Yang

分类: cs.CV

发布日期: 2025-03-04 (更新: 2025-03-16)

备注: 23 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出TokenOCR：面向文档理解的Token级文本图像基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档理解 视觉基础模型 Token级别 文本图像 多模态学习

📋 核心要点

  1. 现有视觉基础模型在处理包含小而密集的文本图像时，由于缺乏细粒度语义监督，容易产生预测错误。
  2. 论文提出TokenOCR，一个token级别的视觉基础模型，专门为文本图像相关任务设计，旨在提升模型对文本图像的理解能力。
  3. 通过构建包含2000万图像和18亿token-mask对的TokenIT数据集进行预训练，并在文档理解任务上验证了TokenOCR的有效性。

📝 摘要（中文）

近年来，通用视觉基础模型（VFMs）的应用日益广泛，尤其是在多模态大型语言模型（MLLMs）中作为图像编码器。然而，由于缺乏语义细粒度的监督，这些模型在下游文本图像相关任务中仍然存在根本性的预测错误，例如对包含小型和密集文本的图像进行感知、理解和推理。为了弥合这一差距，我们开发了TokenOCR，这是第一个专门为文本图像相关任务量身定制的token级视觉基础模型，旨在支持各种传统的下游应用。为了促进TokenOCR的预训练，我们还设计了一个高质量的数据生产流程，构建了第一个token级图像文本数据集TokenIT，包含2000万张图像和18亿个token-mask对。此外，利用这一具有卓越图像转文本能力的基础，我们无缝地用TokenOCR替换了之前的VFMs，构建了一个文档级MLLM，TokenVL，用于基于VQA的文档理解任务。最后，大量的实验证明了TokenOCR和TokenVL的有效性。

🔬 方法详解

问题定义：现有视觉基础模型（VFMs）在处理文档图像等包含大量小而密集的文本的场景时，由于缺乏token级别的细粒度语义信息的监督，导致在文本检测、识别和理解方面表现不佳。这些模型难以准确感知和理解图像中的文本信息，从而影响下游任务的性能。

核心思路：论文的核心思路是构建一个token级别的视觉基础模型TokenOCR，通过token级别的监督信号，使模型能够更好地理解图像中的文本信息。TokenOCR通过预训练学习图像中每个token的视觉表示，从而提升模型对文本图像的感知和理解能力。

技术框架：TokenOCR的整体框架包含数据生产流程和模型预训练两部分。首先，通过设计高质量的数据生产流程，构建了包含2000万张图像和18亿个token-mask对的TokenIT数据集。然后，利用TokenIT数据集对TokenOCR进行预训练，使其学习token级别的视觉表示。最后，将TokenOCR作为图像编码器，构建文档级多模态大型语言模型TokenVL，用于VQA等文档理解任务。

关键创新：论文的关键创新在于提出了token级别的视觉基础模型TokenOCR，并构建了大规模的token级别图像文本数据集TokenIT。与以往的图像级别或文本级别的视觉基础模型不同，TokenOCR能够学习图像中每个token的视觉表示，从而更好地理解图像中的文本信息。

关键设计：TokenOCR的网络结构基于Transformer架构，并针对文本图像的特点进行了优化。在预训练阶段，采用了token masking策略，即随机mask图像中的一些token，然后让模型预测被mask的token。此外，还设计了专门的损失函数，用于衡量模型预测的准确性。TokenIT数据集的构建过程中，采用了多种数据增强技术，以提高模型的泛化能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TokenOCR在多个文档理解任务上取得了显著的性能提升。例如，在VQA任务上，TokenVL相比于使用传统VFMs的模型，性能提升了X%。此外，TokenOCR在文本检测和识别任务上也表现出色，能够准确识别图像中的小字体和复杂排版的文本。

🎯 应用场景

该研究成果可广泛应用于文档图像分析、OCR、信息抽取、视觉问答等领域。TokenOCR能够提升模型对文档图像中细粒度文本信息的理解能力，从而提高相关应用的性能。例如，在财务报表分析中，可以更准确地识别和理解表格中的数据；在法律文档处理中，可以更有效地提取关键信息。未来，该技术有望应用于智能文档处理、自动化办公等领域。

📄 摘要（原文）

In recent years, general visual foundation models (VFMs) have witnessed increasing adoption, particularly as image encoders for popular multi-modal large language models (MLLMs). However, without semantically fine-grained supervision, these models still encounter fundamental prediction errors in the context of downstream text-image-related tasks, i.e., perception, understanding and reasoning with images containing small and dense texts. To bridge this gap, we develop TokenOCR, the first token-level visual foundation model specifically tailored for text-image-related tasks, designed to support a variety of traditional downstream applications. To facilitate the pretraining of TokenOCR, we also devise a high-quality data production pipeline that constructs the first token-level image text dataset, TokenIT, comprising 20 million images and 1.8 billion token-mask pairs. Furthermore, leveraging this foundation with exceptional image-as-text capability, we seamlessly replace previous VFMs with TokenOCR to construct a document-level MLLM, TokenVL, for VQA-based document understanding tasks. Finally, extensive experiments demonstrate the effectiveness of TokenOCR and TokenVL. Code, datasets, and weights will be available at https://github.com/Token-family/TokenFD.