NeRF-Feat: 6D Object Pose Estimation using Feature Rendering

📄 arXiv: 2406.13796v1 📥 PDF

作者: Shishir Reddy Vutukur, Heike Brock, Benjamin Busam, Tolga Birdal, Andreas Hutter, Slobodan Ilic

分类: cs.CV

发布日期: 2024-06-19

备注: 3DV 2024

期刊: 3DV 2024

DOI: 10.1109/3DV62453.2024.00092

💡 一句话要点

NeRF-Feat：利用特征渲染实现弱监督的6D物体姿态估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 6D姿态估计 NeRF 特征渲染 弱监督学习 视角不变特征

📋 核心要点

  1. 现有基于学习的姿态估计方法依赖精确CAD模型或复杂标注数据，成本高昂。
  2. 利用NeRF学习物体隐式形状，结合CNN学习视角不变特征，实现弱监督姿态估计。
  3. 在标准数据集上验证了方法的有效性，即使使用弱监督数据也能达到benchmark精度。

📝 摘要（中文）

本文提出了一种利用弱监督数据进行6D物体姿态估计的方法，无需精确的CAD模型。该方法使用NeRF隐式地学习物体形状，并结合CNN学习视角不变的特征，通过对比损失进行训练。NeRF保证了特征的视角一致性，而CNN则确保学习到的特征尊重对称性。在推理阶段，CNN预测视角不变的特征，用于与NeRF中的隐式3D模型建立对应关系，进而估计物体姿态。该方法能够处理对称物体，这与其他类似训练设置的方法不同。通过在LM、LM-Occlusion和T-Less数据集上的评估，该方法在仅使用弱监督数据的情况下，实现了具有竞争力的精度。

🔬 方法详解

问题定义：论文旨在解决在缺乏精确CAD模型和复杂标注数据的情况下，如何实现准确的6D物体姿态估计问题。现有方法通常需要大量的精确标注数据或CAD模型，这限制了它们在实际场景中的应用，尤其是在获取这些资源成本较高的情况下。

核心思路：论文的核心思路是利用NeRF学习物体的隐式形状表示，并结合CNN学习视角不变的特征。通过对比损失函数，使得NeRF学习到的特征具有视角一致性，而CNN学习到的特征能够尊重物体的对称性。这样，即使在弱监督的情况下，也能学习到具有区分性的特征，用于后续的姿态估计。

技术框架：该方法主要包含两个阶段：训练阶段和推理阶段。在训练阶段，首先使用NeRF学习物体的隐式形状表示。然后，结合CNN，通过对比损失函数学习视角不变的特征。在推理阶段，CNN用于预测视角不变的特征，这些特征用于与NeRF中的隐式3D模型建立对应关系。最后，利用建立的对应关系，估计物体在NeRF参考坐标系下的姿态。

关键创新：该方法最重要的创新点在于利用NeRF学习视角一致的特征，并结合CNN学习尊重对称性的特征，从而在弱监督的情况下实现准确的姿态估计。与现有方法相比，该方法不需要精确的CAD模型或复杂的标注数据，降低了数据获取的成本。此外，该方法能够处理对称物体，这对于许多实际应用场景非常重要。

关键设计：论文使用了对比损失函数来训练NeRF和CNN，以学习视角不变和具有区分性的特征。具体的网络结构和参数设置在论文中有详细描述。此外，论文还设计了一种方法来处理对称物体，通过在损失函数中引入对称性约束，使得学习到的特征能够尊重物体的对称性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在LM、LM-Occlusion和T-Less数据集上进行了评估，结果表明，即使在仅使用弱监督数据的情况下，该方法也能实现具有竞争力的精度。尤其是在处理对称物体方面，该方法表现出了优越的性能，优于其他使用类似训练设置的方法。这些实验结果充分验证了该方法的有效性和鲁棒性。

🎯 应用场景

该研究成果可广泛应用于机器人抓取、增强现实、自动驾驶等领域。在机器人抓取中，可以帮助机器人准确识别和抓取物体。在增强现实中，可以实现虚拟物体与真实场景的精确对齐。在自动驾驶中，可以提高车辆对周围环境的感知能力，从而提高驾驶安全性。该研究具有重要的实际应用价值和广阔的应用前景。

📄 摘要（原文）

Object Pose Estimation is a crucial component in robotic grasping and augmented reality. Learning based approaches typically require training data from a highly accurate CAD model or labeled training data acquired using a complex setup. We address this by learning to estimate pose from weakly labeled data without a known CAD model. We propose to use a NeRF to learn object shape implicitly which is later used to learn view-invariant features in conjunction with CNN using a contrastive loss. While NeRF helps in learning features that are view-consistent, CNN ensures that the learned features respect symmetry. During inference, CNN is used to predict view-invariant features which can be used to establish correspondences with the implicit 3d model in NeRF. The correspondences are then used to estimate the pose in the reference frame of NeRF. Our approach can also handle symmetric objects unlike other approaches using a similar training setup. Specifically, we learn viewpoint invariant, discriminative features using NeRF which are later used for pose estimation. We evaluated our approach on LM, LM-Occlusion, and T-Less dataset and achieved benchmark accuracy despite using weakly labeled data.