From Retrieval to Recognition:How Vision--Language Models Become OCR Specialists

📄 arXiv: 2609.21543v1 📥 PDF

作者: Yuanxiang Huangfu, Hanmeng Zhong, Linqing Chen, Jeffrey Tiong Jee Hui

分类: cs.CV

发布日期: 2026-09-18

💡 一句话要点

提出新方法使视觉语言模型具备OCR专长

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言模型 光学字符识别 因果干预 多模态学习 文本检索 模型专门化

📋 核心要点

  1. 核心问题：现有的视觉语言模型在OCR任务中表现不足，缺乏专门的处理机制。
  2. 方法要点：本研究通过因果干预和证据基础协议，分析OCR头与文本检索头的关系，揭示其共享电路的特性。
  3. 实验或效果：实验结果显示视觉OCR头与文本检索头有73.3%的重叠，且OCR专门化过程保留了大部分头部身份。

📝 摘要（中文）

本研究探讨了通用视觉语言模型（VLM）是否通过开发新阅读电路或重用现有机制来获得专门的OCR能力。我们在全序列OCR的背景下进行研究，采用证据基础协议和因果干预，识别出GLM-OCR、MinerU2.5和PaddleOCR-VL-1.6中的稀疏且稳定的OCR头集。通过与独立识别的文本检索/复制头进行比较，我们发现视觉OCR头与文本检索/复制头高度重叠，表明全序列OCR作为密集的顺序多模态复制粘贴操作。最后，我们分析了通用VLM如何转变为OCR专家的过程，发现OCR专门化在很大程度上保留了头部身份，同时重新分配了功能和因果强度。

🔬 方法详解

问题定义：本研究旨在解决通用视觉语言模型在OCR任务中的表现不足，探讨其是否具备专门的OCR处理机制。现有方法在全序列OCR任务中缺乏有效的机制，导致性能受限。

核心思路：论文的核心思路是通过因果干预和证据基础协议，识别和分析OCR头与文本检索头之间的关系，揭示其共享的电路特性，从而理解OCR能力的来源。

技术框架：整体架构包括数据收集、因果干预实验、OCR头识别和比较分析等主要模块。首先收集OCR和文本数据，然后进行因果干预以识别OCR头，最后与文本检索头进行比较。

关键创新：最重要的技术创新在于识别出视觉OCR头与文本检索头之间的高度重叠，表明全序列OCR可以视为密集的顺序多模态复制粘贴操作。这一发现与现有方法的本质区别在于强调了共享电路的作用。

关键设计：在实验中，采用了特定的参数设置和损失函数，以确保OCR头的稳定性和稀疏性。同时，使用Spearman相关性来评估头部之间的关系，确保结果的可靠性。实验中还保持了头部身份的保留性，显示出OCR专门化的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，视觉OCR头与文本检索头之间的重叠率达到73.3%，而所有头部的Spearman相关性在0.677到0.886之间，表明OCR专门化过程有效保留了头部身份，且相关性高达0.874-0.942，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括文档识别、自动化数据输入和多模态信息检索等。通过提高视觉语言模型在OCR任务中的表现，可以显著提升信息处理的效率和准确性，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Does a general vision--language model acquire specialized OCR ability by developing a new reading circuit or by reusing an existing mechanism? We address this question in the setting of full-sequence OCR, rather than local-answer retrieval. Using an evidence-grounded protocol with held-out causal interventions, we identify sparse and stable OCR-head sets in GLM-OCR, MinerU2.5, and PaddleOCR-VL-1.6. We then investigate the mechanistic origin of these OCR heads by comparing them with independently identified textual retrieval/copy heads in general VLMs. Across two general VLMs, visual OCR heads strongly overlap independently identified textual retrieval/copy heads, yielding untuned top-20 intersections of 73.3% and all-head Spearman correlations of 0.677-0.886. The overlap and causal interventions suggest that full-sequence OCR operates as dense sequential multimodal copy-and-paste, repeatedly retrieving visual evidence and routing it to the current output position. Finally, we examine how this shared circuit changes as a general VLM becomes an OCR specialist. Matched base-to-specialized comparisons show that OCR specialization largely preserves head identity, retaining 17-20 of the top 20 heads per task with all-head rank correlations of 0.874-0.942, while redistributing their functional and causal strengths.