Prototype-Aware Multimodal Alignment for Open-Vocabulary Visual Grounding

📄 arXiv: 2509.06291v1 📥 PDF

作者: Jiangnan Xie, Xiaolong Zheng, Liang Zheng

分类: cs.CV

发布日期: 2025-09-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出原型感知多模态学习框架PAML，解决开放词汇视觉定位中的跨模态对齐问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 开放词汇 多模态学习 原型学习 跨模态对齐

📋 核心要点

  1. 现有视觉定位方法在开放词汇场景中，由于跨模态对齐不佳、特征融合不足和原型信息利用率低而表现受限。
  2. PAML框架通过ALBEF进行跨模态对齐，利用视觉判别编码器增强目标特征，并引入原型机制促进开放词汇识别。
  3. 实验结果表明，PAML在标准场景中具有竞争力，并在开放词汇场景中取得了领先水平。

📝 摘要（中文）

本文提出了一种名为原型感知多模态学习（PAML）的创新框架，旨在解决开放词汇视觉定位（VG）中存在的挑战。现有基于Transformer的方法在标准场景下表现良好，但在开放词汇场景下存在局限性，主要源于视觉和语言模态之间的不完美对齐、跨模态特征融合不足以及语义原型信息利用不足。PAML框架通过以下关键组件系统地解决这些问题：首先，利用ALBEF建立鲁棒的跨模态对齐；其次，视觉判别特征编码器选择性地增强显著对象表示，抑制不相关的视觉上下文；然后，引入原型发现和继承机制，提取和聚合多邻域语义原型，以促进开放词汇识别；最后，通过多阶段解码器进行全面的多模态融合，最终进行边界框回归。在五个基准数据集上的大量实验验证了该方法的有效性，在标准场景中表现出竞争性，并在开放词汇场景中取得了最先进的结果。

🔬 方法详解

问题定义：视觉定位（VG）旨在利用自然语言查询在图像中定位特定目标对象。现有基于Transformer的方法在标准场景下表现良好，但在开放词汇场景（即测试期间存在熟悉和新颖的对象类别）中表现出明显的局限性。这些局限性主要源于视觉和语言模态之间的不完美对齐，跨模态特征融合不足，以及语义原型信息利用不足。

核心思路：PAML的核心思路是通过原型学习来增强模型对新物体的识别能力。通过学习已知类别的原型，模型可以更好地泛化到未见过的类别，从而提高在开放词汇场景下的定位性能。同时，通过增强视觉特征的判别性，抑制无关信息，可以提高定位的准确性。

技术框架：PAML框架主要包含以下几个模块：1) 跨模态对齐模块：利用ALBEF预训练模型，实现视觉和语言特征的初步对齐。2) 视觉判别特征编码器：选择性地增强显著对象表示，抑制不相关的视觉上下文。3) 原型发现和继承机制：提取和聚合多邻域语义原型，以促进开放词汇识别。4) 多阶段解码器：进行全面的多模态融合，最终进行边界框回归。

关键创新：PAML的关键创新在于原型发现和继承机制。该机制能够从已知类别中学习原型，并将其用于指导新类别的识别。这种方法能够有效地提高模型对新物体的泛化能力，从而在开放词汇场景下取得更好的性能。与现有方法相比，PAML能够更好地利用语义信息，从而提高定位的准确性。

关键设计：原型发现和继承机制的具体实现包括：首先，利用聚类算法从已知类别的特征中提取原型；然后，利用原型来指导新类别的特征表示学习；最后，利用多阶段解码器将原型信息融入到最终的定位结果中。损失函数包括定位损失和原型学习损失，用于优化模型的定位性能和原型学习能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PAML在五个基准数据集上进行了广泛的实验验证，结果表明其在标准场景中表现出竞争性，并在开放词汇场景中取得了最先进的结果。具体来说，PAML在开放词汇场景下的性能显著优于现有方法，证明了其在处理新物体识别方面的有效性。代码已开源。

🎯 应用场景

该研究成果可应用于智能安防、自动驾驶、机器人导航等领域。例如，在智能安防中，可以利用该技术定位监控视频中的可疑物品；在自动驾驶中，可以帮助车辆识别和定位道路上的各种物体，提高驾驶安全性；在机器人导航中，可以帮助机器人理解环境，并准确地定位目标物体。

📄 摘要（原文）

Visual Grounding (VG) aims to utilize given natural language queries to locate specific target objects within images. While current transformer-based approaches demonstrate strong localization performance in standard scene (i.e, scenarios without any novel objects), they exhibit notable limitations in open-vocabulary scene (i.e, both familiar and novel object categories during testing). These limitations primarily stem from three key factors: (1) imperfect alignment between visual and linguistic modalities, (2) insufficient cross-modal feature fusion, and (3) ineffective utilization of semantic prototype information. To overcome these challenges, we present Prototype-Aware Multimodal Learning (PAML), an innovative framework that systematically addresses these issues through several key components: First, we leverage ALBEF to establish robust cross-modal alignment during initial feature encoding. Subsequently, our Visual Discriminative Feature Encoder selectively enhances salient object representations while suppressing irrelevant visual context. The framework then incorporates a novel prototype discovering and inheriting mechanism that extracts and aggregates multi-neighbor semantic prototypes to facilitate open-vocabulary recognition. These enriched features undergo comprehensive multimodal integration through our Multi-stage Decoder before final bounding box regression. Extensive experiments across five benchmark datasets validate our approach, showing competitive performance in standard scene while achieving state-of-the-art results in open-vocabulary scene. Our code is available at https://github.com/plankXie/PAML.