FSD: Fast Self-Supervised Single RGB-D to Categorical 3D Objects
作者: Mayank Lunayach, Sergey Zakharov, Dian Chen, Rares Ambrus, Zsolt Kira, Muhammad Zubair Irshad
分类: cs.CV, cs.RO
发布日期: 2023-10-19
备注: Project page: https://fsd6d.github.io
💡 一句话要点
提出快速自监督方法以解决单RGB-D图像的3D物体识别问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D物体识别 自监督学习 RGB-D图像 多阶段训练 实时性能 姿态估计 合成数据迁移
📋 核心要点
- 现有自监督方法在3D物体识别中效率低下，无法实现端到端处理，且对不同物体类别依赖不同模型。
- 提出的多阶段训练流程结合2D和3D监督损失，旨在高效地将合成性能迁移至真实世界。
- 在NOCS测试集上，我们的方法在6D姿态估计上实现了16.4%的绝对提升，且运行频率达到5 Hz。
📝 摘要（中文）
本研究针对在没有真实世界3D标注数据的情况下进行3D物体识别的挑战，旨在通过单一RGB-D图像预测物体的3D形状、大小和6D姿态。我们的方法通过多阶段训练流程，有效地将合成性能转移到真实世界，克服了现有自监督方法在处理效率和实时性方面的不足。实验结果表明，我们的方法在NOCS测试集上实现了6D姿态估计mAP的16.4%绝对提升，并且以近实时的5 Hz频率运行。
🔬 方法详解
问题定义：本论文旨在解决在缺乏真实世界3D标注数据的情况下，如何从单一RGB-D图像中准确识别3D物体的形状、大小和姿态。现有方法通常依赖于非端到端处理，导致效率低下，且在训练隐式重建模型时表面提取速度慢。
核心思路：本研究提出了一种多阶段训练流程，结合2D和3D的监督损失，旨在有效地将合成数据的性能迁移到真实数据上。通过这种综合策略，克服了现有方法的局限性，提高了3D识别的速度和适用性。
技术框架：整体方法分为三个主要阶段：首先在合成数据上进行训练，使用2D和3D监督损失；其次在真实数据上进行训练，结合2D监督和3D自监督损失；最后进行模型优化以提升实时性能。
关键创新：本研究的核心创新在于通过多阶段的训练策略，成功地将合成性能转移到真实世界，显著提高了6D姿态和大小估计的准确性。与现有方法相比，本方法实现了更高的效率和实时性。
关键设计：在损失函数设计上，结合了2D和3D的监督损失，确保了模型在不同阶段的学习效果；网络结构采用了适应性强的架构，以支持多种物体类别的识别。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的方法在NOCS测试集上实现了6D姿态估计的mAP提升16.4%，并且以5 Hz的频率运行，展现出优越的实时性能，显著超越了现有自监督基线。
🎯 应用场景
该研究在机器人视觉、增强现实和自动驾驶等领域具有广泛的应用潜力。通过实现高效的3D物体识别，能够提升智能系统在复杂环境中的决策能力和交互体验，推动相关技术的实际应用和发展。
📄 摘要（原文）
In this work, we address the challenging task of 3D object recognition without the reliance on real-world 3D labeled data. Our goal is to predict the 3D shape, size, and 6D pose of objects within a single RGB-D image, operating at the category level and eliminating the need for CAD models during inference. While existing self-supervised methods have made strides in this field, they often suffer from inefficiencies arising from non-end-to-end processing, reliance on separate models for different object categories, and slow surface extraction during the training of implicit reconstruction models; thus hindering both the speed and real-world applicability of the 3D recognition process. Our proposed method leverages a multi-stage training pipeline, designed to efficiently transfer synthetic performance to the real-world domain. This approach is achieved through a combination of 2D and 3D supervised losses during the synthetic domain training, followed by the incorporation of 2D supervised and 3D self-supervised losses on real-world data in two additional learning stages. By adopting this comprehensive strategy, our method successfully overcomes the aforementioned limitations and outperforms existing self-supervised 6D pose and size estimation baselines on the NOCS test-set with a 16.4% absolute improvement in mAP for 6D pose estimation while running in near real-time at 5 Hz.