Single-to-mix Modality Alignment with Multimodal Large Language Model for Document Image Machine Translation

📄 arXiv: 2507.07572v1 📥 PDF

作者: Yupu Liang, Yaping Zhang, Zhiyang Zhang, Yang Zhao, Lu Xiang, Chengqing Zong, Yu Zhou

分类: cs.CL, cs.AI, cs.CV

发布日期: 2025-07-10

备注: Accepted by ACL 2025 Main

💡 一句话要点

M4Doc：利用多模态大语言模型进行单模态到混合模态对齐的文档图像机器翻译

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 文档图像翻译 多模态大语言模型 单模态对齐 跨领域泛化 知识迁移

📋 核心要点

  1. 文档图像机器翻译面临训练数据少和视觉文本信息复杂交互导致的泛化性难题。
  2. M4Doc通过对齐图像编码器与预训练多模态大语言模型，使模型学习视觉-文本相关性。
  3. 实验表明，M4Doc在跨领域泛化和复杂文档图像场景下显著提升了翻译质量。

📝 摘要（中文）

文档图像机器翻译(DIMT)旨在翻译文档图像中的文本，但由于训练数据有限以及视觉和文本信息之间复杂的相互作用，面临着泛化挑战。为了应对这些挑战，我们引入了M4Doc，这是一种新颖的单模态到混合模态对齐框架，它利用了多模态大语言模型(MLLM)。M4Doc将一个纯图像编码器与MLLM的多模态表示对齐，该MLLM已在大规模文档图像数据集上进行了预训练。这种对齐使得轻量级的DIMT模型能够在训练期间学习关键的视觉-文本相关性。在推理过程中，M4Doc绕过MLLM，在保持计算效率的同时受益于其多模态知识。全面的实验表明，翻译质量得到了显著提高，尤其是在跨领域泛化和具有挑战性的文档图像场景中。

🔬 方法详解

问题定义：文档图像机器翻译(DIMT)旨在翻译文档图像中的文本。现有方法面临的痛点是训练数据有限，以及视觉和文本信息之间复杂的相互作用，导致模型泛化能力不足，尤其是在跨领域和复杂文档图像场景下表现不佳。

核心思路：论文的核心思路是利用预训练的多模态大语言模型(MLLM)的强大知识和表示能力，通过单模态（图像）到混合模态（图像+文本）的对齐，将MLLM学到的视觉-文本相关性知识迁移到轻量级的DIMT模型中。这样可以在训练时利用MLLM的知识，而在推理时绕过MLLM，从而兼顾性能和效率。

技术框架：M4Doc框架主要包含以下几个模块：1) 图像编码器：用于提取文档图像的视觉特征。2) 多模态大语言模型(MLLM)：预训练的MLLM，用于提供多模态表示和知识。3) 对齐模块：将图像编码器提取的视觉特征与MLLM的多模态表示对齐，使得图像编码器能够学习到视觉-文本相关性。4) 翻译模块：利用对齐后的视觉特征进行文本翻译。训练阶段，图像编码器与MLLM对齐；推理阶段，仅使用图像编码器和翻译模块，无需MLLM。

关键创新：M4Doc的关键创新在于单模态到混合模态的对齐策略。不同于以往直接使用MLLM进行DIMT的方法，M4Doc通过对齐图像编码器和MLLM，实现了知识迁移，同时避免了推理时对MLLM的依赖，从而提高了效率。此外，M4Doc框架是轻量级的，易于部署和扩展。

关键设计：论文中关键的设计包括：1) 选择合适的预训练MLLM，例如在文档图像数据集上预训练的MLLM。2) 设计有效的对齐损失函数，例如对比学习损失或知识蒸馏损失，以促进图像编码器学习MLLM的多模态表示。3) 图像编码器的选择，可以使用卷积神经网络(CNN)或Transformer等结构。4) 翻译模块的设计，可以使用序列到序列模型或Transformer等结构。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，M4Doc在文档图像机器翻译任务上取得了显著的性能提升，尤其是在跨领域泛化和复杂文档图像场景下。与现有方法相比，M4Doc在多个数据集上取得了SOTA结果，并且在保持计算效率的同时，显著提高了翻译质量。具体性能数据未知，但摘要强调了“substantial improvements”。

🎯 应用场景

该研究成果可应用于自动化文档翻译、跨境电商、国际新闻传播等领域。例如，可以自动翻译外国专利文献、合同、用户手册等，帮助企业快速获取海外信息。此外，该技术还可以用于扫描件、老旧文档的数字化和翻译，具有重要的社会价值和商业前景。

📄 摘要（原文）

Document Image Machine Translation (DIMT) aims to translate text within document images, facing generalization challenges due to limited training data and the complex interplay between visual and textual information. To address these challenges, we introduce M4Doc, a novel single-to-mix modality alignment framework leveraging Multimodal Large Language Models (MLLMs). M4Doc aligns an image-only encoder with the multimodal representations of an MLLM, pre-trained on large-scale document image datasets. This alignment enables a lightweight DIMT model to learn crucial visual-textual correlations during training. During inference, M4Doc bypasses the MLLM, maintaining computational efficiency while benefiting from its multimodal knowledge. Comprehensive experiments demonstrate substantial improvements in translation quality, especially in cross-domain generalization and challenging document image scenarios.