GS2POSE: Marry Gaussian Splatting to 6D Object Pose Estimation

📄 arXiv: 2510.16777v1 📥 PDF

作者: Junbo Li, Weimin Yuan, Yinuo Wang, Yue Zeng, Shihao Shu, Cai Meng, Xiangzhi Bai

分类: cs.CV

发布日期: 2025-10-19

💡 一句话要点

GS2POSE：结合高斯溅射与6D物体姿态估计，提升纹理缺失和光照变化下的鲁棒性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 6D姿态估计 高斯溅射 Bundle Adjustment 可微渲染 李代数

📋 核心要点

  1. 现有6D姿态估计方法在纹理缺失物体和光照变化下表现不佳，依赖2D-3D特征对应易受干扰。
  2. GS2POSE利用Bundle Adjustment思想，结合李代数扩展3DGS，实现姿态可微渲染和迭代优化。
  3. 实验表明，GS2POSE在多个数据集上优于现有方法，精度分别提升1.4%、2.8%和2.5%。

📝 摘要（中文）

精确的3D物体6D姿态估计是计算机视觉中的一项基本任务。目前的研究通常通过建立2D图像特征和3D模型特征之间的对应关系来预测6D姿态。然而，这些方法在处理纹理缺失的物体和变化的光照条件时常常面临困难。为了克服这些限制，我们提出了一种新的6D物体姿态估计方法GS2POSE。GS2POSE提出了一种受Bundle Adjustment (BA) 原理启发的姿态回归算法。通过利用李代数，我们扩展了3DGS的能力，开发了一个姿态可微的渲染管线，该管线通过比较输入图像和渲染图像来迭代优化姿态。此外，GS2POSE更新3DGS模型中的颜色参数，增强其对光照变化的适应性。与之前的模型相比，GS2POSE在T-LESS、LineMod-Occlusion和LineMod数据集上分别实现了1.4%、2.8%和2.5%的精度提升。

🔬 方法详解

问题定义：现有6D物体姿态估计方法在处理纹理缺失物体和光照变化时面临挑战。这些方法通常依赖于建立2D图像特征和3D模型特征之间的对应关系，但在纹理信息不足或光照条件复杂的情况下，特征匹配的准确性会显著下降，导致姿态估计误差增大。因此，如何提高6D姿态估计在纹理缺失和光照变化下的鲁棒性是一个关键问题。

核心思路：GS2POSE的核心思路是将高斯溅射（Gaussian Splatting, 3DGS）与Bundle Adjustment (BA) 的优化思想相结合。3DGS能够以紧凑的方式表示3D场景，并支持可微渲染。通过将姿态估计问题转化为一个优化问题，利用可微渲染管线，GS2POSE可以迭代地调整物体姿态，使得渲染图像与输入图像之间的差异最小化。这种方法避免了直接的2D-3D特征匹配，从而提高了对纹理缺失和光照变化的鲁棒性。

技术框架：GS2POSE的整体框架包括以下几个主要步骤：1) 使用3DGS表示目标物体；2) 初始化物体姿态；3) 通过姿态可微的渲染管线渲染图像；4) 计算渲染图像与输入图像之间的损失；5) 利用Bundle Adjustment的思想，通过优化算法（如梯度下降）迭代更新物体姿态和3DGS的颜色参数，以最小化损失。其中，姿态的更新基于李代数，保证了旋转矩阵的有效性。

关键创新：GS2POSE的关键创新在于将Bundle Adjustment的优化思想引入到基于高斯溅射的6D姿态估计中，并开发了姿态可微的渲染管线。与传统的基于特征匹配的方法相比，GS2POSE避免了对特征的依赖，从而提高了对纹理缺失和光照变化的鲁棒性。此外，通过同时优化姿态和3DGS的颜色参数，GS2POSE能够更好地适应光照变化。

关键设计：GS2POSE的关键设计包括：1) 使用李代数表示姿态，并利用李代数的性质进行姿态更新；2) 设计合适的损失函数，例如渲染图像与输入图像之间的像素级差异；3) 使用优化算法（如Adam）迭代更新姿态和3DGS的颜色参数；4) 对3DGS的参数进行初始化和正则化，以保证训练的稳定性和收敛性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GS2POSE在T-LESS、LineMod-Occlusion和LineMod数据集上进行了评估，实验结果表明，GS2POSE在这些数据集上分别实现了1.4%、2.8%和2.5%的精度提升。这些结果表明，GS2POSE在处理纹理缺失物体和光照变化方面具有显著的优势。

🎯 应用场景

GS2POSE在机器人抓取、增强现实、自动驾驶等领域具有广泛的应用前景。例如，在机器人抓取中，准确的6D姿态估计可以帮助机器人精确地定位和抓取目标物体。在增强现实中，GS2POSE可以用于将虚拟物体精确地叠加到真实场景中。在自动驾驶中，GS2POSE可以用于识别和定位周围的车辆和行人，提高自动驾驶系统的安全性。

📄 摘要（原文）

Accurate 6D pose estimation of 3D objects is a fundamental task in computer vision, and current research typically predicts the 6D pose by establishing correspondences between 2D image features and 3D model features. However, these methods often face difficulties with textureless objects and varying illumination conditions. To overcome these limitations, we propose GS2POSE, a novel approach for 6D object pose estimation. GS2POSE formulates a pose regression algorithm inspired by the principles of Bundle Adjustment (BA). By leveraging Lie algebra, we extend the capabilities of 3DGS to develop a pose-differentiable rendering pipeline, which iteratively optimizes the pose by comparing the input image to the rendered image. Additionally, GS2POSE updates color parameters within the 3DGS model, enhancing its adaptability to changes in illumination. Compared to previous models, GS2POSE demonstrates accuracy improvements of 1.4\%, 2.8\% and 2.5\% on the T-LESS, LineMod-Occlusion and LineMod datasets, respectively.