NovaSplat: Model-Free 6D Object Pose Estimation via 3D Gaussian Splatting Onboarding and Refinement

📄 arXiv: 2610.13309v1 📥 PDF

作者: Georgios Floros, Evangelos Sartinas, Orestis Vangelis, Maria Pateraki

分类: cs.CV, cs.RO

发布日期: 2026-10-09

🔗 代码/项目: GITHUB

💡 一句话要点

提出NovaSplat以解决无CAD模型的6D物体姿态估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 6D姿态估计 无模型方法 3D高斯点云 物体识别 机器人视觉 增强现实 工业自动化

📋 核心要点

  1. 现有的无模型6D姿态估计方法在没有CAD模型的情况下，表现不如基于模型的方法，面临着物体表示构建的挑战。
  2. NovaSplat通过训练3D高斯点云模型，提供了一种无模型的姿态估计管道，结合了检测和姿态优化的功能。
  3. 在家庭和工业基准测试中，NovaSplat的表现超越了所有基于模型和无模型的方法，展示了其优越性。

📝 摘要（中文）

6D物体姿态估计在没有CAD模型的情况下仍然是一个开放的挑战：无模型方法必须在引导阶段从头构建物体表示，且长期落后于基于模型的方法。我们提出了NovaSplat，一个无模型的管道，缩小了这一差距。通过在引导阶段捕获的短视频，我们训练了一个3D高斯点云模型，作为检测和粗略姿态估计的模板源，并作为姿态优化的可微分骨干。我们的优化器在连续旋转参数化下，结合光度和几何损失，优化物体与相机的姿态。NovaSplat在家庭物体基准测试中超越了所有基于模型的方法，并在具有无纹理和镜面表面的工业基准测试中，超越了所有无模型竞争者，同时显著缩小了与基于模型方法的差距。我们还推出了NovaSplat-Lite，一个推理变体，其速度提高了3.1倍，准确度损失微乎其微。

🔬 方法详解

问题定义：本论文旨在解决在没有CAD模型的情况下进行6D物体姿态估计的挑战。现有的无模型方法在物体表示构建上存在不足，导致其性能长期落后于基于模型的方法。

核心思路：NovaSplat的核心思路是通过短视频训练3D高斯点云模型，作为物体的模板源，同时作为姿态优化的可微分骨干，从而实现高效的姿态估计和优化。

技术框架：NovaSplat的整体架构包括两个主要阶段：首先是引导阶段，通过视频训练3D高斯点云模型；其次是优化阶段，利用光度和几何损失进行姿态优化。

关键创新：NovaSplat的主要创新在于其无模型的设计和优化过程，尤其是在连续旋转参数化下的损失函数设计，避免了梯度奇异性的问题，与现有方法相比具有本质的区别。

关键设计：在损失函数方面，NovaSplat结合了光度损失和几何损失，以确保优化过程的稳定性和准确性。此外，网络结构采用了可微分的3D高斯点云模型，增强了模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在家庭物体基准测试中，NovaSplat超越了所有基于模型的方法，显示出其强大的性能。在具有无纹理和镜面表面的工业基准测试中，NovaSplat也超越了所有无模型竞争者，并显著缩小了与基于模型方法的性能差距，展示了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人视觉、增强现实和工业自动化等。通过实现高效的6D物体姿态估计，NovaSplat可以在物体识别、抓取和交互等场景中发挥重要作用，推动相关技术的发展和应用。未来，该方法有望在更复杂的环境中得到应用，进一步提升智能系统的自主性和灵活性。

📄 摘要（原文）

6D pose estimation of novel objects without CAD models remains an open challenge: model-free methods must build the object representation from scratch during onboarding and have long trailed their model-based counterparts. We present NovaSplat, a model-free pipeline that closes this gap. From a short smartphone video captured at onboarding, we train a 3D Gaussian Splatting (3DGS) model that serves both as a template source for detection and coarse pose estimation and as a differentiable backbone for pose refinement. Our refiner optimizes the object-to-camera pose with combined photometric and geometric losses under a continuous rotation parametrization free of gradient singularities. On a household-object benchmark, NovaSplat surpasses all model-based methods. On a challenging industrial benchmark with textureless and specular surfaces, it outperforms all model-free competitors while substantially narrowing the gap to model-based ones. We further introduce NovaSplat-Lite, an inference variant that is $3.1\times$ faster at negligible accuracy cost. Code will be made available at \href{https://github.com/POSE-Lab/novasplat}{https://github.com/POSE-Lab/novasplat}.