Fine-Grained Spatial and Verbal Losses for 3D Visual Grounding
作者: Sombit Dey, Ozan Unal, Christos Sakaridis, Luc Van Gool
分类: cs.CV
发布日期: 2024-11-05
备注: Accepted at WACV 2025
💡 一句话要点
提出AsphaltNet，通过细粒度空间和语言损失提升3D视觉定位性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D视觉定位 视觉语言融合 空间关系建模 语言跨度预测 注意力机制 深度学习 目标检测
📋 核心要点
- 现有3D视觉定位方法主要依赖交叉熵损失，忽略了实例间的空间关系和语言描述的细粒度结构。
- 论文提出视觉偏移损失和语言跨度损失，并设计双向注意力融合模块，增强上下文感知能力。
- 提出的AsphaltNet在ReferIt3D数据集上取得了有竞争力的结果，验证了新损失函数的有效性。
📝 摘要（中文）
3D视觉定位旨在识别3D场景中与给定语言描述相对应的实例。虽然在常用的基于选择的定位框架内已经提出了多种架构，但所使用的损失函数相对缺乏研究。特别是，大多数方法依赖于预测候选实例分布上的基本监督交叉熵损失，这无法建模实例之间的空间关系以及语言指代内部的细粒度词级结构。少数尝试通过从描述中学习所指实例的类别或采用视觉-语言对比来更好地分离实例嵌入，从而全局地监督语言嵌入，但并没有从根本上消除上述限制。针对这些缺点，我们引入了两种新的3D视觉定位损失：视觉层面的偏移损失，用于回归从每个实例到真实所指实例的向量偏移；以及语言相关的跨度损失，用于预测描述中指代实例的词级跨度。此外，我们为新的3D视觉定位架构AsphaltNet的视觉-语言融合模块配备了一个自顶向下的双向注意力融合块，这使得来自我们两种损失的监督信号能够传播到网络的相应分支，从而帮助后者学习上下文感知的实例嵌入和定位感知的语言嵌入。AsphaltNet提出了新的辅助损失来辅助3D视觉定位，并在ReferIt3D基准测试上取得了与最先进技术相比具有竞争力的结果。
🔬 方法详解
问题定义：3D视觉定位任务旨在根据给定的自然语言描述，在3D场景中找到对应的目标物体。现有方法主要采用交叉熵损失，直接预测每个候选物体的概率，忽略了物体之间的空间关系以及语言描述中词语之间的关联性。这种简单粗暴的方法导致模型难以准确理解复杂的语言描述，并区分场景中相似的物体。
核心思路：论文的核心思路是通过引入细粒度的空间和语言损失，来弥补现有方法的不足。具体来说，论文设计了视觉偏移损失来建模物体之间的空间关系，并设计了语言跨度损失来捕捉语言描述中关键信息的词语范围。同时，通过双向注意力机制，使得视觉和语言信息能够更好地融合，从而提升定位的准确性。
技术框架：AsphaltNet的整体架构包含以下几个主要模块：1) 特征提取模块，分别提取3D场景中每个物体的视觉特征和语言描述的文本特征；2) 视觉-语言融合模块，利用双向注意力机制将视觉和语言特征进行融合，得到融合后的特征表示；3) 定位预测模块，根据融合后的特征预测每个物体的概率，并利用视觉偏移损失和语言跨度损失进行优化。
关键创新：论文最重要的技术创新在于提出了视觉偏移损失和语言跨度损失。视觉偏移损失通过回归从每个物体到目标物体的偏移向量，来建模物体之间的空间关系。语言跨度损失通过预测语言描述中与目标物体相关的词语范围，来捕捉语言描述中的关键信息。这两种损失函数能够有效地提升模型对复杂场景和语言描述的理解能力。
关键设计：在视觉-语言融合模块中，论文采用了自顶向下的双向注意力机制。这种机制能够使得视觉特征和语言特征相互引导，从而更好地融合。此外，论文还设计了一些辅助损失函数，例如实例分类损失，来进一步提升模型的性能。具体的参数设置和网络结构细节在论文中有详细描述。
🖼️ 关键图片
📊 实验亮点
AsphaltNet在ReferIt3D数据集上取得了与当前最优方法具有竞争力的结果。通过引入视觉偏移损失和语言跨度损失，模型能够更好地理解场景中的空间关系和语言描述中的关键信息，从而提升了定位的准确性。实验结果表明，所提出的损失函数和注意力机制能够有效地提升3D视觉定位的性能。
🎯 应用场景
该研究成果可应用于机器人导航、智能家居、增强现实等领域。例如，机器人可以通过理解人类的语言指令，在复杂的环境中找到特定的物体。在智能家居中，用户可以通过语音控制来定位和操作家电。在增强现实应用中，可以根据用户的语言描述，在虚拟场景中定位和标注物体。
📄 摘要（原文）
3D visual grounding consists of identifying the instance in a 3D scene which is referred by an accompanying language description. While several architectures have been proposed within the commonly employed grounding-by-selection framework, the utilized losses are comparatively under-explored. In particular, most methods rely on a basic supervised cross-entropy loss on the predicted distribution over candidate instances, which fails to model both spatial relations between instances and the internal fine-grained word-level structure of the verbal referral. Sparse attempts to additionally supervise verbal embeddings globally by learning the class of the referred instance from the description or employing verbo-visual contrast to better separate instance embeddings do not fundamentally lift the aforementioned limitations. Responding to these shortcomings, we introduce two novel losses for 3D visual grounding: a visual-level offset loss on regressed vector offsets from each instance to the ground-truth referred instance and a language-related span loss on predictions for the word-level span of the referred instance in the description. In addition, we equip the verbo-visual fusion module of our new 3D visual grounding architecture AsphaltNet with a top-down bidirectional attentive fusion block, which enables the supervisory signals from our two losses to propagate to the respective converse branches of the network and thus aid the latter to learn context-aware instance embeddings and grounding-aware verbal embeddings. AsphaltNet proposes novel auxiliary losses to aid 3D visual grounding with competitive results compared to the state-of-the-art on the ReferIt3D benchmark.