WALDO: Where Unseen Model-based 6D Pose Estimation Meets Occlusion

📄 arXiv: 2511.15874v1 📥 PDF

作者: Sajjad Pakdamansavoji, Yintao Ma, Amir Rasouli, Tongtong Cao

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-11-19

💡 一句话要点

WALDO：提出一种新颖的基于模型的6D位姿估计方法，提升遮挡场景下的鲁棒性。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 6D位姿估计 遮挡处理 模型驱动 机器人 增强现实 动态采样 多假设推理

📋 核心要点

  1. 现有基于模型的6D位姿估计方法在遮挡场景下，由于早期阶段的检测和分割误差，导致性能显著下降。
  2. 论文提出WALDO，通过动态采样、多假设推理、迭代细化和遮挡增强等策略，提升遮挡场景下的位姿估计鲁棒性。
  3. 实验表明，WALDO在ICBIN和BOP数据集上均取得了显著的精度提升，并提高了推理速度。

📝 摘要（中文）

精确的6D物体位姿估计对于机器人、增强现实和场景理解至关重要。对于已见过的物体，通过逐对象微调通常可以实现高精度，但泛化到未见过的物体仍然是一个挑战。为了解决这个问题，过去的方法通常假设在测试时可以访问CAD模型，并且通常遵循一个多阶段流程来估计位姿：检测和分割物体，提出初始位姿，然后对其进行细化。然而，在遮挡下，这种流程的早期阶段容易出错，这些错误会通过顺序处理传播，从而降低性能。为了弥补这个缺点，我们对基于模型的6D位姿估计方法提出了四个新的扩展：（i）一种动态非均匀密集采样策略，将计算集中在可见区域，减少遮挡引起的误差；（ii）一种多假设推理机制，保留几个置信度排序的位姿候选，减轻脆弱的单路径失败；（iii）迭代细化，以逐步提高位姿精度；（iv）一系列以遮挡为中心的训练数据增强，以增强鲁棒性和泛化能力。此外，我们提出了一种新的按可见性加权的评估指标，用于在遮挡下进行评估，以最大限度地减少现有协议中的偏差。通过广泛的实证评估，我们表明我们提出的方法在ICBIN上实现了超过5%的精度提升，在BOP数据集基准上实现了超过2%的精度提升，同时实现了大约3倍的推理速度。

🔬 方法详解

问题定义：论文旨在解决在存在遮挡的情况下，基于模型的6D位姿估计精度下降的问题。现有方法通常依赖于精确的物体检测和分割，但在遮挡环境下，这些步骤容易出错，导致后续的位姿估计性能受到严重影响。

核心思路：论文的核心思路是通过减少对完整物体信息的依赖，更加关注可见区域的信息，并采用多假设推理来应对不确定性。通过动态采样策略，将计算资源集中在可见区域，减少遮挡带来的干扰。多假设推理则保留多个可能的位姿估计，避免因早期错误而导致的单路径失败。

技术框架：WALDO的整体框架包括以下几个主要模块：1) 动态非均匀密集采样：根据可见性对物体表面进行采样，集中计算资源于可见区域。2) 多假设推理：生成多个候选位姿，并根据置信度进行排序。3) 迭代细化：逐步优化候选位姿，提高精度。4) 遮挡增强：通过模拟各种遮挡情况来增强模型的鲁棒性。

关键创新：论文的关键创新在于动态非均匀密集采样策略和多假设推理机制。动态采样能够有效地减少遮挡带来的干扰，提高位姿估计的准确性。多假设推理则能够应对不确定性，避免因早期错误而导致的单路径失败。此外，提出的遮挡感知评估指标也更加合理地评估了算法在遮挡环境下的性能。

关键设计：动态采样策略根据物体的可见性概率分布进行采样，可见性概率可以通过渲染或其他方法估计。多假设推理采用置信度排序，置信度可以基于渲染结果与观测图像的相似度来计算。迭代细化采用ICP或其他优化算法来逐步提高位姿精度。遮挡增强则通过在训练图像中随机添加遮挡物来实现。

📊 实验亮点

实验结果表明，WALDO在ICBIN数据集上实现了超过5%的精度提升，在BOP数据集上实现了超过2%的精度提升，同时推理速度提高了约3倍。这些结果表明，WALDO在遮挡场景下具有更强的鲁棒性和更高的效率，优于现有的基于模型的6D位姿估计方法。

🎯 应用场景

该研究成果可广泛应用于机器人操作、增强现实、自动驾驶等领域。在机器人操作中，准确的6D位姿估计是实现物体抓取和操作的基础。在增强现实中，可以用于将虚拟物体精确地叠加到真实场景中。在自动驾驶中，可以用于感知周围环境中的物体，并进行精确的定位和跟踪。

📄 摘要（原文）

Accurate 6D object pose estimation is vital for robotics, augmented reality, and scene understanding. For seen objects, high accuracy is often attainable via per-object fine-tuning but generalizing to unseen objects remains a challenge. To address this problem, past arts assume access to CAD models at test time and typically follow a multi-stage pipeline to estimate poses: detect and segment the object, propose an initial pose, and then refine it. Under occlusion, however, the early-stage of such pipelines are prone to errors, which can propagate through the sequential processing, and consequently degrade the performance. To remedy this shortcoming, we propose four novel extensions to model-based 6D pose estimation methods: (i) a dynamic non-uniform dense sampling strategy that focuses computation on visible regions, reducing occlusion-induced errors; (ii) a multi-hypothesis inference mechanism that retains several confidence-ranked pose candidates, mitigating brittle single-path failures; (iii) iterative refinement to progressively improve pose accuracy; and (iv) series of occlusion-focused training augmentations that strengthen robustness and generalization. Furthermore, we propose a new weighted by visibility metric for evaluation under occlusion to minimize the bias in the existing protocols. Via extensive empirical evaluations, we show that our proposed approach achieves more than 5% improvement in accuracy on ICBIN and more than 2% on BOP dataset benchmarks, while achieving approximately 3 times faster inference.