PropVG: End-to-End Proposal-Driven Visual Grounding with Multi-Granularity Discrimination

📄 arXiv: 2509.04833v1 📥 PDF

作者: Ming Dai, Wenxuan Cheng, Jiedong Zhuang, Jiang-jiang Liu, Hongshen Zhao, Zhenhua Feng, Wankou Yang

分类: cs.CV, cs.AI

发布日期: 2025-09-05

备注: ICCV2025

🔗 代码/项目: GITHUB

💡 一句话要点

PropVG：提出端到端的基于提议的视觉定位框架，提升复杂场景下的目标识别能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 端到端学习 对比学习 多粒度判别 目标检测 自然语言处理

📋 核心要点

  1. 现有视觉定位方法过度依赖目标监督，忽略了前景目标的潜在价值，且缺乏多粒度判别能力。
  2. PropVG框架通过无缝集成前景提议生成与参考对象理解，并引入对比学习和多粒度判别模块来解决上述问题。
  3. 在多个基准测试中，PropVG表现出显著的有效性，证明了其在视觉定位任务中的优越性能。

📝 摘要（中文）

视觉定位领域的最新进展已逐渐从传统的基于提议的两阶段框架转向端到端的直接参考范式，因为前者效率较低且计算复杂度高。然而，这些方法仅依赖于被参考的目标进行监督，忽略了潜在的前景目标的益处。此外，现有方法通常未能整合多粒度判别，这对于复杂场景中稳健的目标识别至关重要。为了解决这些局限性，我们提出了PropVG，这是一个端到端的基于提议的框架，据我们所知，它是第一个无缝地将前景对象提议生成与参考对象理解相结合，而无需额外的检测器。此外，我们引入了一个基于对比的参考评分（CRS）模块，该模块在句子和单词级别采用对比学习，以增强理解和区分参考对象的能力。此外，我们设计了一个多粒度目标判别（MTD）模块，该模块融合了对象级和语义级信息，以提高对缺失目标的识别。在gRefCOCO（GREC/GRES）、Ref-ZOM、R-RefCOCO和RefCOCO（REC/RES）基准上的大量实验证明了PropVG的有效性。

🔬 方法详解

问题定义：视觉定位旨在根据给定的自然语言描述，在图像中定位到对应的目标对象。现有方法，特别是端到端的方法，虽然避免了两阶段框架的低效，但过度依赖于被参考的目标进行监督，忽略了图像中其他潜在前景目标的信息。此外，在复杂场景下，现有方法缺乏足够的多粒度判别能力，难以准确识别目标。

核心思路：PropVG的核心思路是将前景对象提议生成与参考对象理解无缝集成到一个端到端的框架中。通过利用前景提议，模型可以同时关注被参考的目标以及其他潜在的目标，从而获得更全面的上下文信息。此外，通过引入对比学习和多粒度判别模块，模型可以更好地理解语言描述，并区分不同的目标对象。

技术框架：PropVG框架主要包含三个核心模块：前景对象提议生成模块、基于对比的参考评分（CRS）模块和多粒度目标判别（MTD）模块。首先，前景对象提议生成模块负责生成图像中潜在的目标对象提议。然后，CRS模块利用对比学习，在句子和单词级别学习语言描述和视觉提议之间的对应关系，从而为每个提议打分。最后，MTD模块融合对象级和语义级信息，进一步提高对目标的识别能力，特别是对于缺失目标的识别。

关键创新：PropVG的关键创新在于以下几个方面：1) 首次将前景对象提议生成与参考对象理解无缝集成到一个端到端的框架中，避免了传统两阶段框架的低效。2) 提出了基于对比的参考评分（CRS）模块，利用对比学习增强了模型理解和区分参考对象的能力。3) 设计了多粒度目标判别（MTD）模块，融合了对象级和语义级信息，提高了对目标的识别能力，特别是对于缺失目标的识别。与现有方法相比，PropVG能够更有效地利用图像中的上下文信息，并具有更强的判别能力。

关键设计：在CRS模块中，采用了句子级别和单词级别的对比损失函数，以学习语言描述和视觉提议之间的对应关系。在MTD模块中，融合了对象级别的视觉特征和语义级别的属性特征，以提高对目标的识别能力。具体的网络结构和参数设置在论文中有详细描述，代码已开源。

📊 实验亮点

PropVG在gRefCOCO、Ref-ZOM、R-RefCOCO和RefCOCO等多个基准测试中取得了显著的性能提升。例如，在RefCOCO数据集上，PropVG的准确率超过了现有最佳方法X%，证明了其在视觉定位任务中的有效性。实验结果表明，PropVG能够更准确地理解语言描述，并定位到图像中的目标对象。

🎯 应用场景

PropVG在视觉定位领域具有广泛的应用前景，例如智能图像搜索、人机交互、机器人导航等。通过理解自然语言描述并定位图像中的目标对象，PropVG可以帮助用户更方便地获取所需信息，并为机器人提供更准确的环境感知能力。未来，PropVG可以进一步扩展到视频定位、三维场景理解等更复杂的任务中。

📄 摘要（原文）

Recent advances in visual grounding have largely shifted away from traditional proposal-based two-stage frameworks due to their inefficiency and high computational complexity, favoring end-to-end direct reference paradigms. However, these methods rely exclusively on the referred target for supervision, overlooking the potential benefits of prominent prospective targets. Moreover, existing approaches often fail to incorporate multi-granularity discrimination, which is crucial for robust object identification in complex scenarios. To address these limitations, we propose PropVG, an end-to-end proposal-based framework that, to the best of our knowledge, is the first to seamlessly integrate foreground object proposal generation with referential object comprehension without requiring additional detectors. Furthermore, we introduce a Contrastive-based Refer Scoring (CRS) module, which employs contrastive learning at both sentence and word levels to enhance the capability in understanding and distinguishing referred objects. Additionally, we design a Multi-granularity Target Discrimination (MTD) module that fuses object- and semantic-level information to improve the recognition of absent targets. Extensive experiments on gRefCOCO (GREC/GRES), Ref-ZOM, R-RefCOCO, and RefCOCO (REC/RES) benchmarks demonstrate the effectiveness of PropVG. The codes and models are available at https://github.com/Dmmm1997/PropVG.