RegRet: Enhancing Region-Level Retrieval in Large Multimodal Models

📄 arXiv: 2609.16847v1 📥 PDF

作者: Xun Liang, Honghui Yang, Weihang Pan, Ruisi Zhao, Boyuan Pan, Yao Hu, Wenxiao Wang, Binbin Lin, Deng Cai

分类: cs.CV, cs.AI, cs.IR

发布日期: 2026-09-15

备注: Accepted by ECCV 2026. 22 pages, including references and appendix

💡 一句话要点

提出RegRet以解决大规模多模态模型中的区域级检索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 区域级检索 多模态模型 对比学习 区域感知编码器 REGMB基准 电子商务 图像检索

📋 核心要点

  1. 现有的大规模多模态模型主要关注全局级任务，难以有效捕捉区域级特征，导致区域级检索性能不足。
  2. RegRet框架通过引入区域感知编码器，增强区域特征的捕捉能力，同时保持全局检索性能。
  3. 实验结果表明，RegRet在零样本设置下超越了强基线，经过对比学习训练后在REGMB和公共基准上平均提升超过20%。

📝 摘要（中文）

区域级检索旨在将用户指定的图像区域与相关区域或文本描述对齐，在电子商务产品搜索和RAG等实际应用中发挥着重要作用。尽管近期的大规模多模态模型在多模态检索方面取得了显著进展，但它们主要集中于全局级任务，难以有效捕捉区域级表示。为此，本文提出了RegRet，一个基于LMM的区域级检索框架，旨在增强区域表示而不影响全局检索性能。RegRet的核心是集成了区域感知编码器，以捕捉详细的区域特征，同时平衡全局背景上下文。此外，设计了多阶段训练流程，包括详细的局部标注和区域对比学习任务。为了解决当前基准中缺乏区域级对比训练数据和评估任务多样性的问题，本文引入了REGMB基准，包含225k对比对，覆盖四个多模态检索任务。大量实验验证了该方法的有效性。

🔬 方法详解

问题定义：本文旨在解决现有多模态模型在区域级检索中的不足，特别是在捕捉区域特征方面的挑战。现有方法主要集中于全局特征，导致区域级检索效果不佳。

核心思路：RegRet通过引入区域感知编码器，专注于捕捉图像中具体区域的细节特征，同时确保这些特征与全局背景信息的平衡，从而提升区域级检索的准确性。

技术框架：RegRet的整体架构包括区域感知编码器、多阶段训练流程和区域对比学习模块。首先，区域感知编码器提取区域特征；然后，通过多阶段训练流程进行细化学习，最后结合对比学习提升特征的区分能力。

关键创新：最重要的创新点在于引入了REGMB基准，提供了丰富的区域级对比训练数据，解决了当前缺乏多样性的问题，显著提升了模型的学习效果。

关键设计：在设计中，采用了多阶段训练策略，结合详细的局部标注和区域对比学习任务，确保模型能够有效学习区域特征，同时设置了适当的损失函数以优化区域与全局特征的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，RegRet在零样本设置下超越了多个强基线，经过对比学习后在REGMB和公共基准上平均提升超过20%。此外，在全局级检索任务中，RegRet的表现与现有方法相当或更优，展示了其在多模态检索中的广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括电子商务产品搜索、图像检索和智能推荐系统等。通过提升区域级检索能力，RegRet能够为用户提供更精准的搜索结果，进而改善用户体验。未来，该框架有望在多模态交互和智能助手等领域发挥更大作用。

📄 摘要（原文）

Region-level retrieval aims to align user-specified image regions with relevant regions or textual descriptions, playing a crucial role in realworld applications such as e-commerce product search and RAG. Although recent Large Multimodal Models (LMMs) have made significant strides in multimodal retrieval, they primarily focus on global-level tasks and struggle to capture effective region-level representations. To bridge this gap, we present RegRet, an LMM-based Region-level Retrieval framework that enhances the regional representations without compromising overall global retrieval performance. At its core, RegRet integrates a Region-Aware Encoder to capture detailed regional features while balancing them with the global background context. To further enhance the fine-grained understanding and discriminability of representations, we design a multi-stage training pipeline that includes detailed localized captioning and regional contrastive learning tasks. In addition, considering the absence of region-level contrastive training data and the limited diversity of evaluation tasks in current benchmarks, we introduce the REGMB benchmark. It comprises 225k contrastive pairs, covering four multimodal retrieval tasks. Extensive experiments validate the effectiveness of our approach. RegRet outperforms strong baselines in the zero-shot setting. Further training with contrastive learning leads to an average improvement of more than 20\% on both REGMB and public benchmarks, while achieving comparable or better results on global-level retrieval tasks.