Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels
作者: Zhuchenyang Liu, Yao Zhang, Yu Xiao
分类: cs.CV, cs.CL, cs.IR
发布日期: 2026-07-27
💡 一句话要点
提出无坐标和区域标签的证据归属方法以解决文档理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉文档理解 证据归属 多模态检索 语言接口 训练方法
📋 核心要点
- 现有的视觉文档理解方法依赖坐标接口，导致模型在正确答案下仍可能无法识别正确的证据区域，出现归属幻觉问题。
- 本文提出了一种语言接口替代坐标接口，通过直接引用文本证据并利用多模态检索来定位引用的证据区域，从而改善模型的表现。
- 实验结果表明，与坐标接口相比，证据召回率从最多8分提升至26至47分，幻觉率减少一半，且答案质量变化不大。
📝 摘要（中文）
可靠的视觉文档理解需要模型将每个答案归因于支持它的证据区域。现有方法通过坐标接口输出边界框坐标，但常常导致归属幻觉，即模型即使答案正确也无法识别正确区域。本文研究了这一问题，比较了坐标接口与仅输出文本的语言接口，发现后者在证据召回率上显著提升，并且幻觉率减少。基于此，提出了一种GRPO训练方法，无需区域标签即可提高模型的证据引用能力，严格归属准确率从22.4提升至33.8，展示了在没有坐标接口和昂贵监督的情况下改善归属的实际路径。
🔬 方法详解
问题定义：本文旨在解决视觉文档理解中模型无法准确归属证据区域的问题，现有坐标接口导致的归属幻觉现象严重影响了模型的可靠性。
核心思路：通过引入语言接口，模型仅输出文本证据，利用多模态检索定位引用的证据区域，避免了坐标表达的局限性，从而提高了证据的召回率和准确性。
技术框架：整体流程包括文本证据的引用、通过布局解析器返回的页面区域定位，以及基于引用的检索机制。模型在训练过程中使用GRPO方法，结合金标准答案与检索区域的裁剪图像进行优化。
关键创新：最重要的创新在于提出了无需区域标签的训练方法，利用文本引用直接提升证据归属能力，显著改善了模型的表现，突破了传统坐标接口的限制。
关键设计：在训练过程中，设计了GRPO奖励机制，依据金标准答案和检索区域的质量进行评估，确保模型能够有效学习到更好的证据引用策略。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用语言接口后，证据召回率从最多8分提升至26至47分，幻觉率减少约50%，而答案质量几乎没有变化。此外，采用GRPO训练方法后，模型的严格归属准确率从22.4提升至33.8，验证了新方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括文档自动化处理、信息检索和智能问答系统等。通过提高模型在视觉文档理解中的证据归属能力，可以显著提升信息提取的准确性和效率，具有广泛的实际价值和未来影响。
📄 摘要（原文）
Reliable visual document understanding requires a model to attribute each answer to the evidence regions that support it. Recent benchmarks and systems express this step through a coordinate interface: the model outputs the coordinates of bounding boxes that mark the evidence regions in the document. Under this interface, vision-language models often fail to identify the right regions even when the answer is correct, a failure known as Attribution Hallucination. We present a study that investigates whether this failure is partially limited by what the model can express through coordinates. On a verified bilingual CiteVQA subset, we compare the coordinate interface with a language interface in which the model outputs only text, quoting its evidence verbatim, and a multimodal retriever returns the location of each quote as a page region proposed by a layout parser (tables and figures are quoted through their captions or notes); the comparison is repeated over six open vision-language models. Compared with the coordinate interface, evidence recall rises from at most 8 points to between 26 and 47 and the hallucination rate roughly halves, with little change in answer quality. Building on this comparison, we use the same quote-and-retrieve pipeline as a training scaffold: because region-level evidence labels are expensive to collect for long documents, we introduce a GRPO recipe whose reward is a judge's reading of the gold answer and crops of the retrieved regions, training the model to quote better evidence without any region labels and raising an 8B backbone's strict attributed accuracy from 22.4 to 33.8. These findings indicate a practical path to improve attribution"without a coordinate interface and without costly region-level supervision.