GRC-Pose: Generation-Reconstruction Correspondence for Prior-Free 6D Object Pose Tracking

📄 arXiv: 2609.39116v1 📥 PDF

作者: Shiyang Liu, Weiquan Lin, Luping Xiao, Jiadong Tang, Yi Yang, Yu Gao, Xingyu Chen

分类: cs.CV

发布日期: 2026-09-30

备注: 39 pages

💡 一句话要点

提出GRC-Pose以解决无先验6D物体姿态跟踪问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 6D物体姿态跟踪 生成-重建对应 几何基础模型 稳健姿态估计 机器人视觉 增强现实 自动驾驶

📋 核心要点

  1. 现有方法在无先验的6D物体姿态跟踪中面临挑战，尤其是在缺乏物体特定模型和注释的情况下。
  2. 论文提出GRC-Pose框架，通过生成-重建对应关系结合学习的对应预测与稳健的姿态估计，解决了物体跟踪问题。
  3. 实验结果显示，GRC-Pose在HOT3D数据集上实现了58%的运动保持提升，并在多个经典基准上保持竞争力。

📝 摘要（中文）

无先验的6D物体姿态跟踪旨在从单个RGB视频中恢复未见物体的轨迹，而无需特定物体的CAD模型、姿态参考图像或姿态注释。几何基础模型提供了互补的物体中心和场景中心线索，但SAM3D CAD是通过任意物体局部表面参数化进行索引的，而重建证据则以序列特定的世界坐标系表达，并具有部分表面覆盖。为利用这种互补性，本文将跟踪问题形式化为生成-重建对应关系，并提出GRC-Pose，一个结合学习对应预测与稳健姿态估计的框架。具体而言，GeoCorr-Matcher估计加权的物体-场景对应关系及每个姿态候选的匹配不确定性，而FGH-Solver通过多种稳健的几何估计器和序列级后验推断整合这些匹配，同时后验门控记忆仅保留通过遮挡和视角变化支持的内点观察。广泛评估表明，使用SAM3D CAD，GRC-Pose在HOT3D上实现了最先进的平均召回率和运动保持，后者比现有方法提高了58%。在YCBInEOAT和LINEMOD等经典基准上，GRC-Pose仍然具有高度竞争力。

🔬 方法详解

问题定义：本文旨在解决无先验的6D物体姿态跟踪问题，现有方法在缺乏物体特定CAD模型和姿态注释的情况下，难以准确恢复物体轨迹。

核心思路：GRC-Pose框架通过生成-重建对应关系，结合物体与场景的互补信息，利用学习的对应预测和稳健的姿态估计来提高跟踪精度。

技术框架：GRC-Pose的整体架构包括GeoCorr-Matcher和FGH-Solver两个主要模块。GeoCorr-Matcher负责估计物体与场景之间的加权对应关系及不确定性，而FGH-Solver则通过多种几何估计器整合这些匹配，并进行序列级后验推断。

关键创新：GRC-Pose的创新在于将生成-重建对应关系引入姿态跟踪，利用后验门控记忆机制，仅保留支持内点的观察，从而提高了跟踪的鲁棒性和准确性。

关键设计：在设计中，GeoCorr-Matcher采用加权匹配策略，FGH-Solver则结合多种几何估计方法，确保在遮挡和视角变化下的稳健性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GRC-Pose在HOT3D数据集上实现了最先进的平均召回率和运动保持，后者比现有方法提高了58%。在YCBInEOAT和LINEMOD等经典基准上，GRC-Pose仍然保持高度竞争力，展示了其在多种场景下的有效性。

🎯 应用场景

GRC-Pose的研究成果在机器人视觉、增强现实和自动驾驶等领域具有广泛的应用潜力。通过实现高效的6D物体姿态跟踪，该技术能够提升机器人对环境的理解能力，增强人机交互体验，并为自主导航提供支持。

📄 摘要（原文）

Prior-free 6D object pose tracking seeks to recover the trajectory of an unseen object from a single RGB video without object-specific CAD models, posed reference images, or pose annotations. Geometric foundation models provide complementary object-centric and scene-centric cues, yet SAM3D CAD is indexed by an arbitrary object-local surface parameterization, whereas reconstructed evidence is expressed in a sequence-specific world frame with partial surface coverage. To exploit this complementarity, we formulate tracking as generation-reconstruction correspondence and introduce GRC-Pose, a correspondence-based framework that combines learned correspondence prediction with robust pose estimation. Concretely, GeoCorr-Matcher estimates weighted object-scene correspondences and per-match uncertainty for each pose candidate. FGH-Solver integrates these matches through multiple robust geometric estimators and sequence-level posterior inference, while a posterior-gated memory retains only inlier-supported observations through occlusion and viewpoint change. Extensive evaluation shows that with SAM3D CAD, GRC-Pose achieves state-of-the-art Average Recall and motion retention on HOT3D, improving the latter by 58% over prior art. On classical benchmarks including YCBInEOAT and LINEMOD, it remains highly competitive.