UReader: Universal OCR-free Visually-situated Language Understanding with Multimodal Large Language Model

📄 arXiv: 2310.05126v1 📥 PDF

作者: Jiabo Ye, Anwen Hu, Haiyang Xu, Qinghao Ye, Ming Yan, Guohai Xu, Chenliang Li, Junfeng Tian, Qi Qian, Ji Zhang, Qin Jin, Liang He, Xin Alex Lin, Fei Huang

分类: cs.CV, cs.AI

发布日期: 2023-10-08

💡 一句话要点

提出UReader以解决视觉场景下的无OCR语言理解问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉场景理解 无OCR 多模态大语言模型 文本识别 联合微调 形状自适应裁剪 语义理解

📋 核心要点

  1. 现有方法在视觉场景下的语言理解中依赖OCR技术，导致效率低下和准确性不足。
  2. UReader通过微调多模态大语言模型，结合视觉信息和语言理解，避免了OCR的使用。
  3. 实验结果显示，UReader在8个视觉场景语言理解任务中达到了最新的无OCR性能，显著提升了任务效果。

📝 摘要（中文）

文本在我们的视觉世界中无处不在，传达着重要信息，如文档、网站和日常照片。本文提出UReader，这是对基于多模态大语言模型（MLLM）的无OCR视觉场景语言理解的首次探索。通过利用MLLM的浅层文本识别能力，我们仅微调了1.2%的参数，训练成本远低于以往基于特定领域预训练和微调的工作。UReader在多种视觉场景语言理解任务上进行联合微调，并通过统一的指令格式增强视觉文本和语义理解。我们还设计了一个形状自适应裁剪模块，以利用冻结的低分辨率视觉编码器处理高分辨率图像。我们的单一模型在10个视觉场景语言理解任务中实现了8个任务的无OCR性能的最新成果，涵盖文档、表格、图表、自然图像和网页截图等5个领域。

🔬 方法详解

问题定义：本文旨在解决视觉场景下语言理解中对OCR的依赖问题，现有方法往往在处理效率和准确性上存在不足。

核心思路：UReader利用多模态大语言模型的浅层文本识别能力，通过微调少量参数来实现视觉场景语言理解，避免了传统OCR方法的复杂性。

技术框架：UReader的整体架构包括一个形状自适应裁剪模块和一个编码-解码器结构，前者用于处理高分辨率图像，后者则用于语言理解任务。模型通过统一的指令格式进行联合微调，增强视觉文本和语义理解。

关键创新：UReader的主要创新在于其无OCR的设计理念，利用MLLM的能力进行视觉信息处理，显著降低了训练成本和复杂性。

关键设计：在模型设计中，仅微调1.2%的参数，采用了形状自适应裁剪模块以优化高分辨率图像的处理，同时引入了文本阅读和关键点生成的辅助任务，以提升模型的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UReader在10个视觉场景语言理解任务中实现了8个任务的最新无OCR性能，展示了其在文档、表格、图表、自然图像和网页截图等5个领域的优越性。相较于以往方法，UReader在训练成本和效率上均有显著提升。

🎯 应用场景

UReader的研究成果在多个领域具有广泛的应用潜力，包括文档分析、数据提取、图像理解和网页内容解析等。其无OCR的特性使得在资源受限的环境中也能高效运行，未来可能推动智能助手、自动化文档处理等技术的发展。

📄 摘要（原文）

Text is ubiquitous in our visual world, conveying crucial information, such as in documents, websites, and everyday photographs. In this work, we propose UReader, a first exploration of universal OCR-free visually-situated language understanding based on the Multimodal Large Language Model (MLLM). By leveraging the shallow text recognition ability of the MLLM, we only finetuned 1.2% parameters and the training cost is much lower than previous work following domain-specific pretraining and finetuning paradigms. Concretely, UReader is jointly finetuned on a wide range of Visually-situated Language Understanding tasks via a unified instruction format. To enhance the visual text and semantic understanding, we further apply two auxiliary tasks with the same format, namely text reading and key points generation tasks. We design a shape-adaptive cropping module before the encoder-decoder architecture of MLLM to leverage the frozen low-resolution vision encoder for processing high-resolution images. Without downstream finetuning, our single model achieves state-of-the-art ocr-free performance in 8 out of 10 visually-situated language understanding tasks, across 5 domains: documents, tables, charts, natural images, and webpage screenshots. Codes and instruction-tuning datasets will be released.