SuperPose: Improved 6D Pose Estimation with Robust Tracking and Mask-Free Initialization

📄 arXiv: 2409.19986v2 📥 PDF

作者: Yu Deng, Jiahong Xue, Teng Cao, Yingxing Zhang, Lanxi Wen, Yiyang Chen

分类: cs.CV

发布日期: 2024-09-30 (更新: 2024-10-20)

💡 一句话要点

SuperPose：通过鲁棒跟踪和无掩码初始化改进6D位姿估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 6D位姿估计 物体检测 鲁棒跟踪 无掩码初始化 工业应用

📋 核心要点

  1. 现有6D位姿估计方法通常依赖于初始掩码或对对称物体的处理不佳，限制了其在复杂工业环境中的应用。
  2. SuperPose通过集成FoundationPose、SAM2和LightGlue，实现了无掩码初始化和鲁棒跟踪，提升了对称物体的位姿估计精度。
  3. 实验表明，该方法在YCB数据集和工业组件上表现出可靠的6D检测和跟踪性能，有效缓解了跟踪丢失问题。

📝 摘要（中文）

我们开发了一种鲁棒的实时6D物体检测解决方案，用于工业应用，该方案集成了FoundationPose、SAM2和LightGlue，无需重新训练。我们的方法解决了两个关键挑战：FoundationPose在第一帧中需要初始物体掩码，以及对称物体的跟踪损失和自动旋转问题。该算法仅需要目标物体的CAD模型，用户在初始设置期间点击实时画面中的物体位置。设置完成后，算法自动保存物体的参考图像，并在后续运行中，使用LightGlue进行物体与实时场景之间的特征匹配，为检测提供初始提示。在YCB数据集以及漂白清洁剂和齿轮等工业组件上进行的测试表明，该算法能够实现可靠的6D检测和跟踪。通过集成SAM2和FoundationPose，我们有效地缓解了跟踪丢失等常见限制，确保在遮挡或快速移动等具有挑战性的条件下进行连续和准确的跟踪。

🔬 方法详解

问题定义：现有的FoundationPose方法在进行6D位姿估计时，需要在第一帧提供物体的初始掩码，这在实际应用中增加了人工干预的成本。此外，对于具有对称性的物体，跟踪过程中容易出现跟踪丢失和自动旋转的问题，导致位姿估计不准确。

核心思路：SuperPose的核心思路是利用LightGlue进行特征匹配，实现无掩码的初始化，并结合SAM2和FoundationPose，增强跟踪的鲁棒性，从而解决初始掩码依赖和对称物体跟踪问题。通过这种方式，算法可以在无需人工干预的情况下，自动完成物体的位姿估计。

技术框架：SuperPose的整体框架包括以下几个主要阶段：1) 用户在初始设置时，点击实时画面中的物体位置，算法自动保存参考图像。2) 在后续运行中，LightGlue用于参考图像和实时场景之间的特征匹配，生成初始提示。3) SAM2用于分割物体，为FoundationPose提供掩码。4) FoundationPose根据掩码和初始提示，进行6D位姿估计和跟踪。

关键创新：SuperPose的关键创新在于：1) 使用LightGlue进行特征匹配，实现了无掩码的初始化，降低了人工干预。2) 集成了SAM2和FoundationPose，增强了跟踪的鲁棒性，解决了跟踪丢失问题。3) 针对对称物体，优化了跟踪算法，提高了位姿估计的准确性。

关键设计：算法的关键设计包括：1) LightGlue的特征匹配策略，用于快速准确地找到物体在场景中的位置。2) SAM2的分割策略，用于生成高质量的物体掩码。3) FoundationPose的位姿估计和跟踪算法，用于实现精确的6D位姿估计。具体的参数设置和损失函数等细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SuperPose在YCB数据集和工业组件（如漂白清洁剂和齿轮）上进行了测试，结果表明该算法能够实现可靠的6D检测和跟踪。通过集成SAM2和FoundationPose，有效地缓解了跟踪丢失等常见限制，确保在遮挡或快速移动等具有挑战性的条件下进行连续和准确的跟踪。具体的性能数据和提升幅度在论文中未明确给出，属于未知信息。

🎯 应用场景

SuperPose在工业自动化领域具有广泛的应用前景，例如机器人抓取、装配、检测和维护等。该方法可以帮助机器人准确识别和定位目标物体，从而实现自动化操作。此外，该方法还可以应用于增强现实和虚拟现实等领域，为用户提供更加逼真的交互体验。未来，该方法有望进一步推广到其他领域，例如医疗、教育和娱乐等。

📄 摘要（原文）

We developed a robust solution for real-time 6D object detection in industrial applications by integrating FoundationPose, SAM2, and LightGlue, eliminating the need for retraining. Our approach addresses two key challenges: the requirement for an initial object mask in the first frame in FoundationPose and issues with tracking loss and automatic rotation for symmetric objects. The algorithm requires only a CAD model of the target object, with the user clicking on its location in the live feed during the initial setup. Once set, the algorithm automatically saves a reference image of the object and, in subsequent runs, employs LightGlue for feature matching between the object and the real-time scene, providing an initial prompt for detection. Tested on the YCB dataset and industrial components such as bleach cleanser and gears, the algorithm demonstrated reliable 6D detection and tracking. By integrating SAM2 and FoundationPose, we effectively mitigated common limitations such as the problem of tracking loss, ensuring continuous and accurate tracking under challenging conditions like occlusion or rapid movement.