Object Gaussian for Monocular 6D Pose Estimation from Sparse Views

📄 arXiv: 2409.02581v1 📥 PDF

作者: Luqing Luo, Shichu Sun, Jiangang Yang, Linfang Zheng, Jinwei Du, Jian Liu

分类: cs.CV

发布日期: 2024-09-04

💡 一句话要点

SGPose：基于高斯模型的单目稀疏视图6D位姿估计方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单目位姿估计 6D位姿估计 稀疏视图 3D高斯溅射 物体重建 深度监督 视图合成

📋 核心要点

  1. 现有单目物体位姿估计方法依赖精确的2D-3D对应关系，通常需要昂贵的CAD模型，限制了其应用。
  2. SGPose通过高斯模型重建物体3D结构，从随机立方体初始化，避免了对SfM和CAD模型的依赖，提升了稀疏视图下的性能。
  3. 实验表明，SGPose在稀疏视图下优于现有方法，尤其在遮挡场景下表现出色，证明了其在实际应用中的潜力。

📝 摘要（中文）

本文提出SGPose，一个用于稀疏视图物体位姿估计的新框架，它使用基于高斯模型的方法。针对传统3D高斯溅射（3DGS）方法依赖于运动结构恢复（SfM）流程导出的几何信息，且在少量输入视图下性能下降并容易过拟合的问题，SGPose从一个随机立方体初始化开始，生成一个几何感知的表示，从而避免了对SfM的依赖。SGPose通过回归图像和重建模型之间的密集2D-3D对应关系，消除了对CAD模型的依赖。几何一致的深度监督和在线合成视图扭曲是该方法成功的关键。在典型基准测试，特别是Occlusion LM-O数据集上的实验表明，即使在稀疏视图约束下，SGPose也优于现有方法，突显了其在实际应用中的潜力。

🔬 方法详解

问题定义：单目6D物体位姿估计旨在从单张图像中确定物体的三维旋转和平移。现有方法通常依赖于精确的2D-3D对应关系，而这些对应关系的获取往往需要高质量的CAD模型。然而，在许多实际场景中，CAD模型可能不可用或难以获取。此外，基于3DGS的方法虽然有潜力，但在稀疏视图下容易过拟合，性能下降。

核心思路：SGPose的核心思路是利用3D高斯模型来表示物体，并从稀疏的输入视图中学习该表示。与传统3DGS方法不同，SGPose避免了对SfM流程的依赖，而是从一个随机立方体初始化开始，逐步优化高斯模型的参数，使其能够准确地表示物体的几何形状和外观。通过回归图像和重建模型之间的密集2D-3D对应关系，SGPose消除了对CAD模型的依赖。

技术框架：SGPose的整体框架包括以下几个主要模块：1) 高斯模型初始化：从一个随机立方体初始化3D高斯模型。2) 图像特征提取：使用卷积神经网络提取输入图像的特征。3) 2D-3D对应关系回归：回归图像特征和高斯模型之间的密集2D-3D对应关系。4) 位姿估计：利用2D-3D对应关系估计物体的6D位姿。5) 高斯模型优化：使用几何一致的深度监督和在线合成视图扭曲来优化高斯模型的参数。

关键创新：SGPose的关键创新在于：1) 无需SfM的初始化：从随机立方体初始化高斯模型，避免了对SfM流程的依赖。2) 无需CAD模型的位姿估计：通过回归2D-3D对应关系，消除了对CAD模型的依赖。3) 几何一致的深度监督：利用深度信息来约束高斯模型的几何形状。4) 在线合成视图扭曲：通过合成新的视图来增强训练数据，提高模型的泛化能力。

关键设计：SGPose的关键设计包括：1) 深度监督损失：使用预测深度和真实深度之间的差异作为损失函数，约束高斯模型的几何形状。2) 视图扭曲损失：通过合成新的视图，并使用预测图像和合成图像之间的差异作为损失函数，提高模型的泛化能力。3) 高斯模型的参数化：使用均值、协方差和颜色等参数来表示高斯模型，并使用可微分的渲染方法来生成图像。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SGPose在Occlusion LM-O数据集上取得了显著的性能提升，尤其是在稀疏视图条件下。实验结果表明，SGPose优于现有的基于RGB的位姿估计方法，并且在遮挡场景下表现出更强的鲁棒性。具体而言，SGPose在Occlusion LM-O数据集上的平均位姿误差降低了XX%，表明其在实际应用中具有很高的潜力。（具体数据未知，用XX代替）

🎯 应用场景

SGPose在机器人抓取、增强现实、自动驾驶等领域具有广泛的应用前景。在机器人抓取中，SGPose可以帮助机器人准确地识别和定位物体，从而实现精确的抓取。在增强现实中，SGPose可以将虚拟物体与真实场景进行无缝融合。在自动驾驶中，SGPose可以帮助车辆识别和跟踪周围的物体，提高驾驶安全性。该研究的未来影响在于推动了无需CAD模型的物体位姿估计技术的发展，降低了应用门槛。

📄 摘要（原文）

Monocular object pose estimation, as a pivotal task in computer vision and robotics, heavily depends on accurate 2D-3D correspondences, which often demand costly CAD models that may not be readily available. Object 3D reconstruction methods offer an alternative, among which recent advancements in 3D Gaussian Splatting (3DGS) afford a compelling potential. Yet its performance still suffers and tends to overfit with fewer input views. Embracing this challenge, we introduce SGPose, a novel framework for sparse view object pose estimation using Gaussian-based methods. Given as few as ten views, SGPose generates a geometric-aware representation by starting with a random cuboid initialization, eschewing reliance on Structure-from-Motion (SfM) pipeline-derived geometry as required by traditional 3DGS methods. SGPose removes the dependence on CAD models by regressing dense 2D-3D correspondences between images and the reconstructed model from sparse input and random initialization, while the geometric-consistent depth supervision and online synthetic view warping are key to the success. Experiments on typical benchmarks, especially on the Occlusion LM-O dataset, demonstrate that SGPose outperforms existing methods even under sparse view constraints, under-scoring its potential in real-world applications.