GARRET: Generative Feedback for Region Retrieval in Visual Documents

📄 arXiv: 2610.27829v1 📥 PDF

作者: Weijian Jian, Siyang Chen, Yuguang Yang, Yajun Zhang, Chunyu Xie, Dawei Leng, Yuhui Yin

分类: cs.CV, cs.IR

发布日期: 2026-10-20

备注: 28 pages, 7 figures, including appendices

💡 一句话要点

提出GARRET框架以解决视觉文档区域检索问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 区域检索 多模态检索 生成反馈 视觉文档 信息检索 深度学习 视觉-语言模型

📋 核心要点

  1. 现有的视觉检索方法通常只能处理整页内容，缺乏对细粒度区域的有效检索能力，导致信息检索的准确性降低。
  2. GARRET框架通过可微分生成反馈，从（页面、问题、答案）三元组中训练区域检索器，避免了昂贵的查询到区域注释需求。
  3. GARRET在宏观nDCG@10上达到0.4126，超越了最强的视觉基线2.94点，同时在页面检索中与ColQwen2.5-v0.2相当，但每页索引的向量减少了47.8%。

📝 摘要（中文）

多模态检索增强生成在视觉丰富文档中需要比整页更细粒度的证据。现有的视觉检索器通常索引或返回完整页面，而训练区域级检索器往往需要昂贵的查询到区域注释或噪声模型生成的标签。我们提出GARRET，一个通过可微分生成反馈训练的区域检索框架，基于（页面、问题、答案）三元组。共享的上下文保持检索器生成页面和区域的多向量表示。在训练过程中，它们的检索分数定义了候选区域裁剪的软路由分布。辅助的视觉-语言模型分别关注每个裁剪，使用路由权重聚合特定上下文，并在下一个标记预测目标下预测问题及答案。在推理时，辅助模型被移除。GARRET还重用上下文化的区域表示，结合页面摘要标记，构建紧凑的页面表示。

🔬 方法详解

问题定义：本论文旨在解决在视觉文档中进行区域检索的挑战，现有方法多集中于整页内容，缺乏对细粒度信息的有效支持，且训练区域级检索器需要昂贵的注释。

核心思路：GARRET框架通过可微分生成反馈机制，利用（页面、问题、答案）三元组进行训练，生成区域检索的多向量表示，避免了对查询到区域的直接注释需求。

技术框架：GARRET的整体架构包括共享上下文保持检索器、辅助视觉-语言模型和区域表示的重用机制。训练过程中，检索器生成页面和区域的多向量表示，辅助模型则根据路由权重聚合上下文信息。

关键创新：GARRET的主要创新在于通过软路由分布为区域表示分配查询条件的信用，从而实现了无需查询到区域注释的有效训练。这一方法显著提升了区域检索的准确性。

关键设计：在设计中，GARRET采用了多向量表示和路由分布的结合，损失函数基于下一个标记预测目标，确保了模型在训练过程中的有效性和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GARRET在宏观nDCG@10上取得了0.4126的成绩，超越了最强视觉基线2.94点，同时在页面检索中与ColQwen2.5-v0.2相当，但每页索引的向量减少了47.8%，显示出其在效率和效果上的显著提升。

🎯 应用场景

GARRET框架在多模态文档检索领域具有广泛的应用潜力，能够提升信息检索的准确性和效率，适用于教育、法律、医疗等需要处理视觉丰富文档的行业。未来，该技术可能推动智能文档处理和自动化信息提取的发展。

📄 摘要（原文）

Multimodal retrieval-augmented generation over visually rich documents requires evidence at a finer granularity than entire pages. Existing visual retrievers typically index or return full pages, whereas training region-level retrievers often requires costly query-to-region annotations or noisy model-generated labels. We introduce GARRET, a region-retrieval framework trained from (page, question, answer) triplets through differentiable generative feedback. A shared context-preserving retriever produces page and region multi-vector representations. During training, their retrieval scores define a soft routing distribution over candidate region crops. An auxiliary vision-language model attends to each crop separately, aggregates crop-specific contexts using the routing weights, and predicts the question followed by the answer under a next-token prediction objective. Gradients through the routing distribution assign query-conditioned credit to the indexed region representations, without requiring query-to-region annotations. At inference, the auxiliary model is removed. GARRET also reuses the contextualized region representations, together with page summary tokens, to construct a compact page representation. We introduce ViDoRe-V3-Region, a corpus-wide benchmark containing 200,682 fixed candidate regions across eight domains. GARRET achieves a macro nDCG@10 of 0.4126, outperforming the strongest visual baseline by 2.94 points. On page retrieval, it remains comparable to ColQwen2.5-v0.2 while indexing 47.8% fewer vectors per page.