Foundation Feature-Driven Online End-Effector Pose Estimation: A Marker-Free and Learning-Free Approach

📄 arXiv: 2503.14051v1 📥 PDF

作者: Tianshu Wu, Jiyao Zhang, Shiqian Liang, Zhengxiao Han, Hao Dong

分类: cs.RO, cs.CV

发布日期: 2025-03-18

💡 一句话要点

提出基于Foundation Feature的在线末端执行器位姿估计方法，无需标记和训练。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人位姿估计 手眼标定 Foundation Model 零样本学习 在线标定

📋 核心要点

  1. 传统手眼标定依赖离线图像采集，不适用于在线自标定；现有学习方法泛化性差，且需机器人完全可见。
  2. FEEPE算法利用预训练视觉特征估计2D-3D对应关系，通过PnP算法实现6D位姿估计，无需训练。
  3. 引入多历史关键帧增强的位姿优化算法，利用时间信息提高精度，实验验证了其优越性。

📝 摘要（中文）

本文提出了一种基于Foundation Feature驱动的在线末端执行器位姿估计（FEEPE）算法，该算法无需训练，并具有跨末端执行器的泛化能力。受Foundation Model零样本泛化能力的启发，FEEPE利用预训练的视觉特征来估计从CAD模型和目标图像导出的2D-3D对应关系，从而通过PnP算法实现6D位姿估计。为了解决来自部分观察和对称性的模糊性，引入了一种多历史关键帧增强的位姿优化算法，利用时间信息来提高精度。与传统的手眼标定相比，FEEPE实现了无标记的在线标定。与机器人位姿估计不同，它以无需训练的方式在机器人和末端执行器之间进行泛化。大量实验证明了其卓越的灵活性、泛化性和性能。

🔬 方法详解

问题定义：论文旨在解决相机空间和机器人空间之间精确转换估计的问题。传统的手眼标定方法需要使用标记物，并且需要离线采集图像，这限制了它们在在线自标定场景中的应用。而最近基于学习的机器人位姿估计方法虽然在在线标定方面有所进展，但存在跨机器人泛化能力差，以及需要机器人完全可见的问题。这些问题限制了机器人应用的灵活性和鲁棒性。

核心思路：论文的核心思路是利用Foundation Model强大的零样本泛化能力，通过预训练的视觉特征来建立CAD模型和目标图像之间的2D-3D对应关系，从而实现无需训练的6D位姿估计。这种方法避免了对特定机器人或末端执行器进行训练，提高了泛化能力。同时，通过引入多历史关键帧信息，可以有效解决由于部分遮挡或对称性导致的位姿估计模糊问题。

技术框架：FEEPE算法的整体流程如下：1) 利用预训练的视觉模型提取目标图像的特征；2) 从CAD模型中提取3D点云；3) 基于视觉特征建立2D图像特征和3D点云之间的对应关系；4) 使用PnP算法求解相机位姿；5) 利用多历史关键帧信息进行位姿优化，提高精度和鲁棒性。

关键创新：该论文最重要的技术创新点在于利用Foundation Model的预训练视觉特征进行2D-3D对应关系的估计，从而实现了无需训练的在线末端执行器位姿估计。与传统方法相比，这种方法具有更好的泛化能力和灵活性。此外，多历史关键帧增强的位姿优化算法也提高了位姿估计的精度和鲁棒性。

关键设计：论文的关键设计包括：1) 选择合适的预训练视觉模型，以提取具有良好泛化能力的视觉特征；2) 设计有效的2D-3D对应关系建立方法，例如基于特征匹配或深度信息；3) 设计多历史关键帧增强的位姿优化算法，例如使用滑动窗口或图优化方法，并选择合适的优化目标函数和参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FEEPE算法在多个机器人和末端执行器上都取得了良好的性能。与传统的手眼标定方法相比，FEEPE实现了无标记的在线标定，并且具有更好的泛化能力。具体性能数据未知，但摘要强调了其优越的灵活性、泛化性和性能。

🎯 应用场景

该研究成果可广泛应用于机器人自动化、智能制造、医疗机器人等领域。例如，在柔性制造系统中，机器人需要频繁更换末端执行器，该方法可以实现快速、无标记的在线标定，提高生产效率。在医疗机器人领域，可以用于手术机器人的精确位姿估计，提高手术精度和安全性。未来，该方法有望进一步扩展到更复杂的机器人应用场景。

📄 摘要（原文）

Accurate transformation estimation between camera space and robot space is essential. Traditional methods using markers for hand-eye calibration require offline image collection, limiting their suitability for online self-calibration. Recent learning-based robot pose estimation methods, while advancing online calibration, struggle with cross-robot generalization and require the robot to be fully visible. This work proposes a Foundation feature-driven online End-Effector Pose Estimation (FEEPE) algorithm, characterized by its training-free and cross end-effector generalization capabilities. Inspired by the zero-shot generalization capabilities of foundation models, FEEPE leverages pre-trained visual features to estimate 2D-3D correspondences derived from the CAD model and target image, enabling 6D pose estimation via the PnP algorithm. To resolve ambiguities from partial observations and symmetry, a multi-historical key frame enhanced pose optimization algorithm is introduced, utilizing temporal information for improved accuracy. Compared to traditional hand-eye calibration, FEEPE enables marker-free online calibration. Unlike robot pose estimation, it generalizes across robots and end-effectors in a training-free manner. Extensive experiments demonstrate its superior flexibility, generalization, and performance.