Prior-free relative 6D pose estimation of multiple object instances
作者: Behdad Khodabandehloo, Andrea Caraffa, Davide Boscaini, Fabio Poiesi
分类: cs.CV
发布日期: 2026-09-08
备注: Technical report. 12 figures, 6 tables
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出无先验相对6D姿态估计方法以解决多实例物体定位问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 6D姿态估计 无先验学习 多模态特征 循环一致性 物体实例识别
📋 核心要点
- 现有的6D姿态估计方法通常依赖于物体特定的先验知识，限制了其在未知物体实例上的应用。
- 本文提出的PROSE方法通过多模态特征找到物体实例之间的对应关系，完全消除了对先验知识的依赖。
- 实验结果表明，PROSE在多个基准数据集上表现优异，超越了现有的单图像方法，且无需额外的监督学习。
📝 摘要（中文）
物体的6D姿态估计逐步减少对特定物体先验的依赖，从显式的3D模型演变到多视角物体捕获，再到单一参考图像。本文提出了一种无先验的相对6D姿态估计方法，旨在在同一图像中估计多个未知物体实例的相对姿态，而无需CAD模型、模板或参考图像。我们通过提出一种新方法（PROSE），利用多模态基础特征找到物体实例之间的粗略对应关系，从而无需训练。通过在实例元组之间施加循环一致性来细化这些对应关系，并利用得到的全局一致对应关系估计任意一对实例之间的相对6D姿态。为系统评估，我们设计了一个新基准（PRENCH），基于三个多实例BOP数据集，并丰富了任务特定的元数据。PROSE在不需要任务特定监督或额外学习组件的情况下，始终优于通过调整现有单图像方法得到的基线。
🔬 方法详解
问题定义：本文旨在解决在未知物体实例中进行相对6D姿态估计的问题。现有方法通常依赖于特定物体的先验知识，限制了其适用性和灵活性。
核心思路：提出的PROSE方法通过利用多模态基础特征，找到物体实例之间的粗略对应关系，进而实现相对姿态的估计。该方法不需要训练，适用于多实例场景。
技术框架：整体流程包括三个主要阶段：首先，通过多模态特征提取物体实例的粗略对应关系；其次，施加循环一致性以细化这些对应关系；最后，利用全局一致的对应关系估计任意一对实例之间的相对6D姿态。
关键创新：最重要的创新在于提出了一种完全无先验的相对姿态估计方法，突破了传统方法对特定物体模型的依赖，实现了更广泛的应用场景。
关键设计：在技术细节上，采用了多模态特征提取，设计了循环一致性的损失函数，以确保对应关系的准确性和一致性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，PROSE在多个基准数据集上均表现优异，超越了现有的单图像方法，且在不需要任务特定监督的情况下，提升了相对姿态估计的准确性，展示了其强大的应用潜力。
🎯 应用场景
该研究的潜在应用领域包括机器人抓取、增强现实和自动驾驶等场景，能够在没有物体模型的情况下实现高效的物体识别与定位，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Object 6D pose estimation formulations have progressively reduced reliance on object-specific priors, evolving from explicit 3D models to multi-view object captures to single reference images. We take this progression to its extreme by introducing prior-free relative 6D pose estimation, which lifts the assumption of knowing which object is to be posed within the scene. This novel setting aims to estimate the relative poses of multiple instances of an unknown object within the same image, without requiring CAD models, templates, or reference images. We solve this by formulating a novel method (PROSE) that finds coarse correspondences between object instances using multimodal foundation features, thus requiring no training. We refine these correspondences by imposing cycle consistency across tuples of instances, and leverage the resulting globally consistent correspondences to estimate the relative 6D pose between any pair of instances. To enable systematic evaluation, we design a novel benchmark (PRENCH) built from three multi-instance BOP datasets and enriched with task-specific metadata. PROSE consistently outperforms baselines obtained by adapting state-of-the-art single-image methods to the proposed setting, while requiring neither task-specific supervision nor additional learned components. Project website: https://tev-fbk.github.io/PROSE/