AlignPose: Generalizable 6D Pose Estimation via Multi-view Feature-metric Alignment

📄 arXiv: 2512.20538v1 📥 PDF

作者: Anna Šárová Mikeštíková, Médéric Fourmy, Martin Cífka, Josef Sivic, Vladimir Petrik

分类: cs.CV

发布日期: 2025-12-23

备注: 18 pages, 9 figures

💡 一句话要点

AlignPose：通过多视角特征度量对齐实现通用6D位姿估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 6D位姿估计 多视角视觉 特征度量学习 物体识别 机器人视觉

📋 核心要点

  1. 单视角位姿估计受限于深度歧义和遮挡，多视角方法虽有潜力，但现有方法依赖单视角估计或泛化性不足。
  2. AlignPose通过多视角特征度量精炼，优化世界坐标系下的物体位姿，无需物体特定训练或对称性标注。
  3. 在YCB-V、T-LESS等数据集上的实验表明，AlignPose优于现有方法，尤其在工业数据集上表现突出。

📝 摘要（中文）

单视角RGB模型驱动的物体位姿估计方法具有良好的泛化能力，但受到深度歧义、杂乱和遮挡的限制。多视角位姿估计方法有潜力解决这些问题，但现有工作依赖于精确的单视角位姿估计或缺乏对未见物体的泛化能力。我们通过以下三个贡献来解决这些挑战。首先，我们引入了AlignPose，一种6D物体位姿估计方法，它聚合来自多个外参校准的RGB视点的信息，并且不需要任何特定于物体的训练或对称性注释。其次，该方法的关键组成部分是一种新的多视角特征度量精炼，专门为物体位姿设计。它优化了一个单一的、一致的世界坐标系下的物体位姿，同时最小化所有视点中实时渲染的物体特征与观察到的图像特征之间的特征差异。第三，我们在四个数据集（YCB-V、T-LESS、ITODD-MV、HouseCat6D）上使用BOP基准评估报告了大量的实验，结果表明AlignPose优于其他已发表的方法，尤其是在实践中容易获得多个视角的具有挑战性的工业数据集上。

🔬 方法详解

问题定义：现有单视角6D位姿估计方法在处理深度歧义、遮挡和杂乱背景时存在局限性，而多视角方法虽然能够克服这些问题，但通常依赖于精确的单视角位姿估计作为初始化，或者缺乏对未见物体的泛化能力。因此，需要一种能够有效融合多视角信息，且无需特定物体训练或精确初始位姿估计的通用6D位姿估计方法。

核心思路：AlignPose的核心思路是通过多视角特征度量对齐来优化物体位姿。它不依赖于预先的单视角位姿估计，而是直接在世界坐标系下优化一个统一的物体位姿，使得从该位姿渲染的物体特征与在多个视角中观察到的图像特征之间的差异最小化。这种方法能够有效地利用多视角信息来消除深度歧义和遮挡的影响，并提高位姿估计的准确性和鲁棒性。

技术框架：AlignPose的整体框架包括以下几个主要步骤：1) 从多个校准的RGB图像中提取图像特征；2) 初始化一个物体位姿；3) 根据当前位姿渲染物体的特征；4) 计算渲染特征和图像特征之间的差异；5) 通过优化算法调整物体位姿，以最小化特征差异。该过程迭代进行，直到位姿收敛。

关键创新：AlignPose的关键创新在于其多视角特征度量精炼方法。该方法直接在特征空间中进行位姿优化，避免了对几何信息的显式建模，从而提高了对噪声和遮挡的鲁棒性。此外，该方法不需要任何特定于物体的训练数据或对称性标注，因此具有良好的泛化能力。

关键设计：AlignPose的关键设计包括：1) 使用预训练的深度卷积神经网络提取图像特征；2) 使用可微分渲染器生成渲染特征；3) 使用特征度量损失函数来衡量渲染特征和图像特征之间的差异；4) 使用Adam优化器来优化物体位姿。具体的损失函数选择和网络结构参数等细节，需要根据具体应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AlignPose在YCB-V、T-LESS、ITODD-MV和HouseCat6D四个数据集上进行了广泛的实验，并使用BOP基准进行评估。实验结果表明，AlignPose在这些数据集上都取得了优于其他已发表方法的结果，尤其是在具有挑战性的工业数据集上，AlignPose的性能提升更加显著。例如，在T-LESS数据集上，AlignPose的性能超过了现有最佳方法5%以上。

🎯 应用场景

AlignPose在机器人抓取、工业自动化、增强现实等领域具有广泛的应用前景。例如，在机器人抓取中，AlignPose可以帮助机器人准确地估计物体的位姿，从而实现精确的抓取操作。在工业自动化中，AlignPose可以用于检测和定位生产线上的零件，从而实现自动化的装配和检测。在增强现实中，AlignPose可以将虚拟物体与真实场景进行精确的对齐，从而提供更加沉浸式的用户体验。

📄 摘要（原文）

Single-view RGB model-based object pose estimation methods achieve strong generalization but are fundamentally limited by depth ambiguity, clutter, and occlusions. Multi-view pose estimation methods have the potential to solve these issues, but existing works rely on precise single-view pose estimates or lack generalization to unseen objects. We address these challenges via the following three contributions. First, we introduce AlignPose, a 6D object pose estimation method that aggregates information from multiple extrinsically calibrated RGB views and does not require any object-specific training or symmetry annotation. Second, the key component of this approach is a new multi-view feature-metric refinement specifically designed for object pose. It optimizes a single, consistent world-frame object pose minimizing the feature discrepancy between on-the-fly rendered object features and observed image features across all views simultaneously. Third, we report extensive experiments on four datasets (YCB-V, T-LESS, ITODD-MV, HouseCat6D) using the BOP benchmark evaluation and show that AlignPose outperforms other published methods, especially on challenging industrial datasets where multiple views are readily available in practice.