Loud and Clear: Making Visual Evidence Count in Multimodal Document RAG

📄 arXiv: 2610.21318v1 📥 PDF

作者: Eunchan Jo, Seounghyun Jang, Sangwoo Mo

分类: cs.CV, cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出Loud and Clear方法以提升多模态文档RAG的视觉证据利用率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态文档检索 生成模型 视觉证据 OCR技术 信息检索 准确性提升

📋 核心要点

  1. 现有的多模态文档RAG方法在检索后对视觉证据的利用不足，导致生成答案的准确性受到影响。
  2. 论文提出Loud和Clear两个核心要求，通过增加视觉标记预算和图像清晰度来提升生成模型的性能。
  3. 实验结果显示，LoC方法在SciEGQA、ViDoRe-v3和MMLongBench-Doc上均优于八种先前方法，准确率显著提升。

📝 摘要（中文）

多模态文档检索增强生成（RAG）在检索方面的研究较多，但其答案的质量依赖于视觉语言模型对检索页面的理解。研究发现，即使正确的页面被检索到，所包含的证据仍未得到充分利用。通过对SciEGQA的实验，发现将页面预算从1K提升至32K可以提高15.22个百分点的准确率。论文提出了Loud和Clear两个要求，分别强调充分利用视觉标记容量和突出证据的清晰度。最终，Loud and Clear（LoC）方法在多个基准测试中超越了八种先前的方法，显示出其在生成质量上的显著提升。

🔬 方法详解

问题定义：论文要解决的问题是如何提升多模态文档RAG中视觉证据的利用率。现有方法在检索到正确页面后，未能充分利用页面中的视觉信息，导致生成答案的准确性不足。

核心思路：论文的核心思路是通过两个要求Loud和Clear来优化生成模型的输入。Loud强调充分利用视觉标记的容量，而Clear则关注于提升页面中证据的清晰度。

技术框架：整体架构包括两个主要模块：Loud模块通过增加视觉标记预算和图像分辨率来提升准确性；Clear模块则通过抑制周围内容和添加OCR信息来增强证据的可见性。

关键创新：最重要的技术创新在于提出了Loud和Clear的组合方法（LoC），该方法无需额外的训练或真实标注即可提升生成质量，与现有方法相比，显著改善了视觉信息的利用效率。

关键设计：在设计中，LoC通过优化视觉标记预算和图像分辨率来提升性能，同时在Clear模块中，抑制周围内容和添加OCR信息的策略被证明有效，确保了生成模型能够更好地利用检索到的页面信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoC方法在SciEGQA、ViDoRe-v3和MMLongBench-Doc上分别提高了8.88、3.09和4.22个百分点，相较于最强基线ColQwen3表现更为优异。此外，LoC在相同视觉标记预算下也超越了其页面仅输入的变体，显示出其在生成质量上的显著优势。

🎯 应用场景

该研究的潜在应用领域包括信息检索、智能问答系统和文档理解等。通过提升多模态文档RAG的生成质量，LoC方法能够在实际应用中提供更准确的答案，进而推动相关领域的技术进步和应用落地。

📄 摘要（原文）

Multimodal document retrieval-augmented generation (RAG) has focused largely on retrieval, yet its answers depend on how well a vision-language model reads the retrieved pages. We find that evidence in retrieved pages remains underused even when the correct pages are retrieved. On SciEGQA oracle pages, five prior methods give the generator 0.7K to 2.7K visual tokens per query on average under a common image processor, yet raising the page-only budget from 1K to 32K improves accuracy by 15.22 points. At a fixed 16K budget, adding ground-truth crops improves accuracy by 3.75 points over page-only input. We study what the generator needs from retrieved pages through two requirements: Loud, making full use of visual token capacity, and Clear, refining the page so that its evidence becomes prominent. For Loud, increasing either the visual token budget or visual fidelity, the image resolution those tokens preserve, improves accuracy with the other held fixed, and full-page scaling outperforms repetition and tiling at matched budgets. For Clear, suppressing surrounding content improves accuracy without enlarging selected regions, and adding OCR of these regions to page images outperforms either input alone. We implement both as Loud and Clear (LoC), which combines higher-resolution pages with OCR from query-relevant regions without ground-truth annotations or additional training. LoC outperforms eight prior methods on SciEGQA, ViDoRe-v3, and MMLongBench-Doc, improving over the strongest, ColQwen3, by 8.88, 3.09, and 4.22 points with the same retriever and generator. It also outperforms its page-only variant under the same visual token budget. These results locate a bottleneck beyond retrieval: how the retrieved pages are given to the generator.