Cycle-Correspondence Loss: Learning Dense View-Invariant Visual Features from Unlabeled and Unordered RGB Images

📄 arXiv: 2406.12441v1 📥 PDF

作者: David B. Adrian, Andras Gabor Kupcsik, Markus Spies, Heiko Neumann

分类: cs.CV, cs.AI, cs.RO

发布日期: 2024-06-18

备注: 8 pages, 4 figures, 2 tables

💡 一句话要点

提出循环对应损失，用于从无标签RGB图像中学习视角不变的视觉特征

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 循环一致性 自监督学习 视角不变性 特征描述符 机器人操作

📋 核心要点

  1. 现有自监督方法学习视角不变关键点需要精确标定和专家监督，数据收集流程复杂。
  2. 提出循环对应损失(CCL)，利用循环一致性，在未配对RGB图像上训练视角不变描述符。
  3. 实验表明，CCL优于其他RGB自监督方法，性能接近监督方法，适用于关键点跟踪和机器人抓取。

📝 摘要（中文）

近年来，依赖于学习到的以物体为中心的描述符的机器人操作变得越来越流行。视觉描述符可以很容易地描述操作任务的目标，它们可以使用自监督有效地学习，并且可以编码驱动的甚至非刚性的物体。然而，在自监督方法中学习鲁棒的、视角不变的关键点需要细致的数据收集方法，包括精确的校准和专家监督。在本文中，我们引入了循环对应损失(CCL)用于视角不变的密集描述符学习，它采用了循环一致性的概念，从而能够实现简单的数据收集流程和在未配对的RGB相机视图上进行训练。关键思想是通过尝试使用对新图像的预测来预测原始图像中的原始像素，从而自主地检测有效的像素对应关系，同时根据估计的置信度缩放误差项。我们的评估表明，我们优于其他仅使用RGB的自监督方法，并且在关键点跟踪和机器人抓取下游任务方面都接近监督方法的性能。

🔬 方法详解

问题定义：论文旨在解决在机器人操作任务中，如何从无标签、未配对的RGB图像中学习到鲁棒的、视角不变的视觉特征描述符的问题。现有自监督方法依赖于精确的相机标定和专家监督，数据收集过程复杂且成本高昂，限制了其在实际场景中的应用。

核心思路：论文的核心思路是利用循环一致性约束来学习视角不变的特征描述符。具体来说，给定两个未配对的图像，首先预测一个图像中的像素在另一个图像中的对应位置，然后将预测的对应位置反向投影回原始图像。通过最小化原始像素位置和反向投影位置之间的差异，可以学习到具有视角不变性的特征描述符。这种方法无需精确的相机标定，降低了数据收集的难度。

技术框架：整体框架包含特征提取和对应关系预测两个主要模块。首先，使用卷积神经网络(CNN)从两个图像中提取特征图。然后，使用另一个CNN来预测一个图像中的每个像素在另一个图像中的对应位置。为了实现循环一致性，将预测的对应位置反向投影回原始图像，并计算循环一致性损失。整个网络采用端到端的方式进行训练。

关键创新：论文的关键创新在于提出了循环对应损失(CCL)，它是一种新的自监督学习方法，用于学习视角不变的视觉特征描述符。与现有方法相比，CCL不需要精确的相机标定和专家监督，降低了数据收集的难度。此外，CCL利用循环一致性约束，可以有效地学习到具有视角不变性的特征描述符。

关键设计：CCL损失函数由两部分组成：对应损失和循环一致性损失。对应损失衡量预测的对应位置与真实对应位置之间的差异（在训练数据包含真实对应关系时使用，否则不使用）。循环一致性损失衡量原始像素位置和反向投影位置之间的差异。此外，论文还引入了置信度加权机制，根据预测的置信度来缩放误差项。网络结构方面，特征提取器和对应关系预测器均采用CNN，具体结构可以根据具体任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，CCL在关键点跟踪和机器人抓取任务上优于其他自监督RGB方法，并接近监督方法的性能。例如，在机器人抓取任务中，CCL的成功率显著高于其他自监督方法，证明了其学习到的特征描述符具有更好的鲁棒性和泛化能力。

🎯 应用场景

该研究成果可广泛应用于机器人操作、三维重建、视觉定位等领域。例如，机器人可以利用学习到的视角不变特征描述符来识别和抓取物体，即使在不同的视角和光照条件下也能稳定工作。此外，该方法还可以用于构建三维地图，实现自主导航。

📄 摘要（原文）

Robot manipulation relying on learned object-centric descriptors became popular in recent years. Visual descriptors can easily describe manipulation task objectives, they can be learned efficiently using self-supervision, and they can encode actuated and even non-rigid objects. However, learning robust, view-invariant keypoints in a self-supervised approach requires a meticulous data collection approach involving precise calibration and expert supervision. In this paper we introduce Cycle-Correspondence Loss (CCL) for view-invariant dense descriptor learning, which adopts the concept of cycle-consistency, enabling a simple data collection pipeline and training on unpaired RGB camera views. The key idea is to autonomously detect valid pixel correspondences by attempting to use a prediction over a new image to predict the original pixel in the original image, while scaling error terms based on the estimated confidence. Our evaluation shows that we outperform other self-supervised RGB-only methods, and approach performance of supervised methods, both with respect to keypoint tracking as well as for a robot grasping downstream task.