GS2POSE: Marry Gaussian Splatting to 6D Object Pose Estimation

📄 arXiv: 2510.16777v1 📥 PDF

作者: Junbo Li, Weimin Yuan, Yinuo Wang, Yue Zeng, Shihao Shu, Cai Meng, Xiangzhi Bai

分类: cs.CV

发布日期: 2025-10-19

💡 一句话要点

GS2POSE：结合高斯溅射的6D物体姿态估计方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 6D姿态估计 高斯溅射 姿态可微渲染 Bundle Adjustment 李代数

📋 核心要点

  1. 现有6D姿态估计方法在无纹理物体和光照变化下表现不佳，依赖2D-3D特征对应易受干扰。
  2. GS2POSE利用高斯溅射和李代数，构建姿态可微渲染管线，通过迭代优化姿态实现精确估计。
  3. 实验表明，GS2POSE在多个数据集上优于现有方法，尤其在T-LESS、LineMod-Occlusion和LineMod数据集上精度提升显著。

📝 摘要（中文）

精确的3D物体6D姿态估计是计算机视觉中的一项基本任务。目前的研究通常通过建立2D图像特征和3D模型特征之间的对应关系来预测6D姿态。然而，这些方法在处理无纹理物体和变化的光照条件时常常面临困难。为了克服这些限制，我们提出了一种新的6D物体姿态估计方法GS2POSE。GS2POSE提出了一种受Bundle Adjustment (BA) 原理启发的姿态回归算法。通过利用李代数，我们扩展了3DGS的能力，开发了一个姿态可微渲染管线，通过比较输入图像和渲染图像来迭代优化姿态。此外，GS2POSE更新3DGS模型中的颜色参数，增强其对光照变化的适应性。与之前的模型相比，GS2POSE在T-LESS、LineMod-Occlusion和LineMod数据集上分别实现了1.4%、2.8%和2.5%的精度提升。

🔬 方法详解

问题定义：论文旨在解决3D物体6D姿态估计问题，现有方法在处理无纹理物体和光照变化时表现不佳，主要依赖2D图像特征与3D模型特征的对应关系，容易受到噪声和光照的影响，导致姿态估计精度下降。

核心思路：论文的核心思路是将3D高斯溅射（3DGS）与Bundle Adjustment（BA）的思想相结合，构建一个姿态可微的渲染管线。通过迭代优化姿态参数，使得渲染图像与输入图像尽可能一致，从而实现精确的6D姿态估计。这种方法避免了直接依赖2D-3D特征对应，增强了对光照变化的鲁棒性。

技术框架：GS2POSE的整体框架包含以下几个主要步骤：1) 使用3DGS表示场景；2) 利用李代数扩展3DGS，使其具有姿态可微的渲染能力；3) 通过比较渲染图像和输入图像，计算损失函数；4) 使用优化算法（如梯度下降）迭代更新姿态参数和3DGS的颜色参数。该框架的核心是姿态可微渲染管线，它允许通过反向传播优化姿态。

关键创新：该论文的关键创新在于将3DGS与姿态估计相结合，并实现了姿态可微的渲染管线。与传统的基于特征对应的方法不同，GS2POSE通过优化渲染结果来估计姿态，从而避免了对特征的依赖，提高了对无纹理物体和光照变化的鲁棒性。此外，通过更新3DGS的颜色参数，进一步增强了模型对光照变化的适应性。

关键设计：GS2POSE的关键设计包括：1) 使用李代数表示姿态，方便进行姿态的优化；2) 设计合适的损失函数，例如渲染图像与输入图像之间的像素级差异；3) 使用梯度下降等优化算法迭代更新姿态参数和颜色参数；4) 对3DGS的颜色参数进行更新，使其能够适应不同的光照条件。具体参数设置和网络结构细节未在摘要中详细说明，属于未知信息。

📊 实验亮点

GS2POSE在T-LESS、LineMod-Occlusion和LineMod数据集上分别实现了1.4%、2.8%和2.5%的精度提升。这些结果表明，GS2POSE在处理无纹理物体和光照变化方面具有显著的优势。与之前的模型相比，GS2POSE能够更准确地估计物体的6D姿态。

🎯 应用场景

GS2POSE在机器人抓取、增强现实、自动驾驶等领域具有广泛的应用前景。精确的6D姿态估计是机器人进行物体抓取和操作的基础。在增强现实中，GS2POSE可以用于将虚拟物体精确地叠加到真实场景中。在自动驾驶领域，GS2POSE可以用于精确地识别和定位周围的车辆、行人等物体，提高自动驾驶系统的安全性。

📄 摘要（原文）

Accurate 6D pose estimation of 3D objects is a fundamental task in computer vision, and current research typically predicts the 6D pose by establishing correspondences between 2D image features and 3D model features. However, these methods often face difficulties with textureless objects and varying illumination conditions. To overcome these limitations, we propose GS2POSE, a novel approach for 6D object pose estimation. GS2POSE formulates a pose regression algorithm inspired by the principles of Bundle Adjustment (BA). By leveraging Lie algebra, we extend the capabilities of 3DGS to develop a pose-differentiable rendering pipeline, which iteratively optimizes the pose by comparing the input image to the rendered image. Additionally, GS2POSE updates color parameters within the 3DGS model, enhancing its adaptability to changes in illumination. Compared to previous models, GS2POSE demonstrates accuracy improvements of 1.4\%, 2.8\% and 2.5\% on the T-LESS, LineMod-Occlusion and LineMod datasets, respectively.