Weakly-Supervised Learning of Dense Functional Correspondences
作者: Stefan Stojanov, Linan Zhao, Yunzhi Zhang, Daniel L. K. Yamins, Jiajun Wu
分类: cs.CV
发布日期: 2025-09-04
备注: Accepted at ICCV 2025. Project website: https://dense-functional-correspondence.github.io/
💡 一句话要点
提出一种弱监督学习方法，用于学习密集的函数对应关系，提升跨类别图像匹配性能。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 函数对应 弱监督学习 视觉-语言模型 密集对应 跨类别匹配
📋 核心要点
- 现有方法在跨类别图像匹配中缺乏对对象功能的考虑，导致对应关系建立不准确。
- 利用视觉-语言模型生成功能部件的伪标签，并结合密集对比学习，学习功能和空间知识。
- 在合成和真实数据集上验证，结果表明该方法优于现有的自监督和视觉-语言模型基线。
📝 摘要（中文）
建立图像对之间的密集对应关系对于形状重建和机器人操作等任务至关重要。在跨不同类别进行匹配的挑战性环境中，对象的功能（即对象可以对其他对象产生的影响）可以指导如何建立对应关系。这是因为实现特定功能的对象部分通常在形状和外观上具有相似性。基于此观察，我们推导了密集函数对应关系的定义，并提出了一种弱监督学习范式来解决预测任务。我们方法背后的主要思想是，我们可以利用视觉-语言模型来伪标记多视角图像以获得功能部件。然后，我们将其与像素对应的密集对比学习相结合，将功能和空间知识提炼到一个新的模型中，该模型可以建立密集的函数对应关系。此外，我们策划了合成和真实评估数据集作为任务基准。我们的结果表明，我们的方法优于由现成的自监督图像表示和基于视觉语言模型组成的基线解决方案。
🔬 方法详解
问题定义：论文旨在解决跨类别图像对之间建立密集函数对应关系的问题。现有方法，特别是那些依赖于自监督学习或直接使用视觉-语言模型的方法，在处理不同类别对象时，由于缺乏对对象功能相似性的明确建模，难以建立准确的对应关系。这些方法通常侧重于外观或形状的相似性，而忽略了功能在确定对应关系中的重要作用。
核心思路：论文的核心思路是利用对象的功能相似性来指导密集对应关系的建立。具体来说，具有相似功能的部件，即使在不同类别的对象中，也可能具有相似的形状和外观。因此，通过学习对象的功能表示，可以更准确地建立跨类别的对应关系。论文利用视觉-语言模型来提取对象的功能信息，并将其融入到对应关系的学习过程中。
技术框架：该方法主要包含以下几个阶段：1) 利用视觉-语言模型对多视角图像进行伪标记，生成功能部件的标签。2) 使用密集对比学习，从像素对应关系中学习空间知识。3) 将功能知识和空间知识提炼到一个新的模型中，该模型能够预测密集的函数对应关系。整体框架是一个弱监督学习流程，利用视觉-语言模型提供的先验知识来指导对应关系的建立。
关键创新：该方法最重要的创新点在于将视觉-语言模型与密集对比学习相结合，从而能够同时学习对象的功能和空间信息。与现有方法相比，该方法能够更有效地利用对象的功能相似性来建立跨类别的对应关系。此外，该方法提出了一种弱监督学习范式，避免了对大量人工标注数据的依赖。
关键设计：在伪标记阶段，论文使用了预训练的视觉-语言模型（具体模型未知）来生成功能部件的标签。在密集对比学习阶段，使用了标准的对比损失函数（具体形式未知）来学习像素之间的对应关系。在知识提炼阶段，使用了某种形式的蒸馏损失函数（具体形式未知）来将功能和空间知识从伪标签和像素对应关系中转移到新的模型中。具体的网络结构和参数设置在论文中应该有更详细的描述，但此处信息未知。
🖼️ 关键图片
📊 实验亮点
该论文通过实验证明了所提出的弱监督学习方法在密集函数对应关系建立方面的有效性。实验结果表明，该方法优于现有的自监督图像表示和基于视觉语言模型的基线方法。具体的性能提升数据和对比基线信息在论文中应该有更详细的描述，但此处信息未知。
🎯 应用场景
该研究成果可应用于机器人操作、三维重建、虚拟现实等领域。例如，在机器人操作中，可以利用函数对应关系来实现不同类别对象之间的操作迁移。在三维重建中，可以利用函数对应关系来提高重建的准确性和完整性。在虚拟现实中，可以利用函数对应关系来实现不同对象之间的交互。
📄 摘要（原文）
Establishing dense correspondences across image pairs is essential for tasks such as shape reconstruction and robot manipulation. In the challenging setting of matching across different categories, the function of an object, i.e., the effect that an object can cause on other objects, can guide how correspondences should be established. This is because object parts that enable specific functions often share similarities in shape and appearance. We derive the definition of dense functional correspondence based on this observation and propose a weakly-supervised learning paradigm to tackle the prediction task. The main insight behind our approach is that we can leverage vision-language models to pseudo-label multi-view images to obtain functional parts. We then integrate this with dense contrastive learning from pixel correspondences to distill both functional and spatial knowledge into a new model that can establish dense functional correspondence. Further, we curate synthetic and real evaluation datasets as task benchmarks. Our results demonstrate the advantages of our approach over baseline solutions consisting of off-the-shelf self-supervised image representations and grounded vision language models.