A Survey on MLLM-based Visually Rich Document Understanding: Methods, Challenges, and Emerging Trends

📄 arXiv: 2507.09861v1 📥 PDF

作者: Yihao Ding, Siwen Luo, Yue Dai, Yanbei Jiang, Zechuan Li, Geoffrey Martin, Yifan Peng

分类: cs.CV, cs.AI

发布日期: 2025-07-14

备注: Work in progress

💡 一句话要点

综述：基于MLLM的富视觉文档理解方法、挑战与新兴趋势

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 富视觉文档理解 多模态大语言模型 特征融合 预训练 指令调整 文档图像分析 OCR 模型泛化

📋 核心要点

  1. 现有VRDU方法难以有效处理复杂视觉、文本和布局信息的文档，面临特征融合和模型泛化性挑战。
  2. 该综述聚焦于MLLM在VRDU中的应用，分析了文本、视觉和布局特征的编码融合方法，以及不同的训练范式。
  3. 通过对现有方法、数据集和训练策略的分析，为VRDU领域的未来发展方向提供了指导和建议。

📝 摘要（中文）

富视觉文档理解（VRDU）已成为一个关键领域，其驱动力在于自动处理包含复杂视觉、文本和布局信息的文档的需求。 近年来，多模态大型语言模型（MLLM）在该领域展现出卓越的潜力，利用依赖于光学字符识别（OCR）和无OCR框架来提取和解释文档图像中的信息。 本文综述了基于MLLM的VRDU的最新进展，重点介绍了三个核心组成部分：（1）用于编码和融合文本、视觉和布局特征的方法；（2）训练范式，包括预训练策略、指令-响应调整以及不同模型模块的可训练性；（3）用于预训练、指令调整和监督微调的数据集。 最后，我们讨论了这个不断发展的领域中的挑战和机遇，并提出了未来的发展方向，以提高VRDU系统的效率、泛化性和鲁棒性。

🔬 方法详解

问题定义：论文旨在解决富视觉文档理解（VRDU）领域中，如何有效利用多模态大型语言模型（MLLM）处理包含复杂视觉、文本和布局信息的文档的问题。现有方法在特征融合、模型泛化性和鲁棒性方面存在不足，难以充分利用文档中的多模态信息。

核心思路：论文的核心思路是全面综述基于MLLM的VRDU方法，从特征编码与融合、训练范式和数据集三个方面进行深入分析，从而为研究人员提供系统的知识体系和未来的研究方向。通过分析不同方法的优缺点，为解决VRDU中的挑战提供思路。

技术框架：该综述的技术框架主要包括三个核心模块：1) 特征编码与融合方法：回顾了文本、视觉和布局特征的编码技术，以及多模态特征的融合策略。2) 训练范式：分析了预训练策略、指令-响应调整和模型模块的可训练性等训练方法。3) 数据集：总结了用于预训练、指令调整和监督微调的VRDU数据集。

关键创新：该综述的关键创新在于系统性地整理和分析了基于MLLM的VRDU领域的最新进展，并从方法、训练和数据三个维度进行了深入的剖析。此外，该综述还指出了该领域面临的挑战和未来的发展方向，为研究人员提供了宝贵的参考。与现有方法相比，该综述更侧重于MLLM在VRDU中的应用，并关注了模型的可训练性和泛化能力。

关键设计：该综述的关键设计在于其结构化的组织方式，将VRDU问题分解为特征编码、训练范式和数据集三个核心组成部分，并对每个部分进行了详细的分析和讨论。此外，该综述还关注了不同训练策略（如预训练、指令调整和微调）对模型性能的影响，并对不同数据集的特点进行了总结。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该综述总结了近年来基于MLLM的VRDU研究进展，对比了不同特征编码与融合方法、训练范式和数据集的优劣，并指出了现有方法的局限性。通过对未来发展方向的展望，为研究人员提供了重要的参考，有望推动VRDU领域的技术创新。

🎯 应用场景

该研究成果可广泛应用于自动化文档处理、智能办公、金融票据识别、法律文书分析等领域。通过提升VRDU系统的效率、泛化性和鲁棒性，可以显著提高文档处理的自动化水平，降低人工成本，并为各行业提供更智能化的解决方案。

📄 摘要（原文）

Visually-Rich Document Understanding (VRDU) has emerged as a critical field, driven by the need to automatically process documents containing complex visual, textual, and layout information. Recently, Multimodal Large Language Models (MLLMs) have shown remarkable potential in this domain, leveraging both Optical Character Recognition (OCR)-dependent and OCR-free frameworks to extract and interpret information in document images. This survey reviews recent advancements in MLLM-based VRDU, highlighting three core components: (1) methods for encoding and fusing textual, visual, and layout features; (2) training paradigms, including pretraining strategies, instruction-response tuning, and the trainability of different model modules; and (3) datasets utilized for pretraining, instruction-tuning, and supervised fine-tuning. Finally, we discuss the challenges and opportunities in this evolving field and propose future directions to advance the efficiency, generalizability, and robustness of VRDU systems.