ARC-Calib: Autonomous Markerless Camera-to-Robot Calibration via Exploratory Robot Motions

📄 arXiv: 2503.14701v1 📥 PDF

作者: Podshara Chanrungmaneekul, Yiting Chen, Joshua T. Grace, Aaron M. Dollar, Kaiyu Hang

分类: cs.RO, cs.CV

发布日期: 2025-03-18

备注: 8 pages, 9 figures

💡 一句话要点

ARC-Calib：提出一种基于探索性运动的自主无标记相机-机器人标定方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 相机标定 机器人标定 眼手标定 无标记标定 自主标定 几何优化 机器人视觉

📋 核心要点

  1. 传统相机-机器人标定依赖标记物，需人工设置，且现有无标记方法依赖预训练模型，泛化性差，限制了其在边缘设备上的应用。
  2. ARC-Calib通过探索性机器人运动生成易跟踪的视觉模式，并利用几何约束进行优化，实现无需标记物和预训练的自主标定。
  3. 实验验证了ARC-Calib在模拟和真实环境中的鲁棒性和泛化能力，无需大量数据收集或模型训练即可适应不同机器人。

📝 摘要（中文）

相机-机器人标定（又称眼-手标定）是基于视觉的机器人操作的关键组成部分。传统的基于标记的方法通常需要人工干预系统设置。此外，现有的自主无标记标定方法通常依赖于预训练的机器人跟踪模型，这阻碍了它们在边缘设备上的应用，并且需要针对新的机器人形态进行微调。为了解决这些限制，本文提出了一种基于模型的无标记相机-机器人标定框架ARC-Calib，该框架是完全自主的，并且可以在不同的机器人和场景中推广，而无需大量的数据收集或学习。首先，引入探索性机器人运动以在相机的图像帧中生成易于跟踪的基于轨迹的视觉模式。然后，提出了一个几何优化框架，以利用观察到的运动中的共面性和共线性约束来迭代地细化估计的标定结果。我们的方法消除了在环境标记设置或数据收集和模型训练中进行额外工作的需要，使其在各种实际自主系统中具有高度的适应性。在模拟和真实世界中进行了广泛的实验，以验证其鲁棒性和通用性。

🔬 方法详解

问题定义：相机-机器人标定的目标是确定相机坐标系和机器人基坐标系之间的转换关系。现有方法，特别是无标记方法，通常依赖于预训练的机器人跟踪模型，这限制了它们在边缘设备上的应用，并且需要针对新的机器人形态进行微调。此外，人工设置标记物耗时且不灵活。

核心思路：ARC-Calib的核心思路是通过设计特定的探索性机器人运动，在相机视野中产生易于跟踪的轨迹模式。这些轨迹模式包含了丰富的几何信息，例如共面性和共线性，可以用于构建几何约束，从而实现相机-机器人标定的自主优化。无需预训练模型和人工标记，提高了通用性和易用性。

技术框架：ARC-Calib的整体框架包括以下几个主要阶段：1) 探索性机器人运动生成：设计特定的机器人运动轨迹，使得相机能够捕捉到清晰且易于跟踪的视觉模式。2) 轨迹跟踪与特征提取：利用图像处理技术跟踪机器人运动产生的视觉轨迹，并提取关键特征点。3) 几何约束构建：基于观察到的轨迹和特征点，构建共面性和共线性等几何约束。4) 优化求解：利用非线性优化算法，最小化几何约束的误差，从而估计相机-机器人之间的转换关系。

关键创新：ARC-Calib最重要的技术创新在于其完全自主和无标记的设计。它避免了对预训练模型的依赖，也无需人工设置标记物，从而提高了标定过程的通用性和易用性。此外，利用探索性运动生成易于跟踪的视觉模式，并结合几何约束进行优化，也提高了标定的精度和鲁棒性。

关键设计：探索性运动轨迹的设计是关键。论文可能采用了螺旋、直线等多种运动组合，以保证相机能够捕捉到足够多的信息。几何约束的构建也至关重要，共面性和共线性约束的选取需要根据具体的运动轨迹进行调整。优化算法的选择也影响着标定的精度和效率，可能采用了Levenberg-Marquardt等非线性优化算法。

📊 实验亮点

论文在模拟和真实环境中进行了大量实验，验证了ARC-Calib的有效性。实验结果表明，该方法能够在无需人工干预和预训练模型的情况下，实现高精度的相机-机器人标定。具体的性能数据（例如标定误差）和对比基线（例如传统标记方法）将在论文中详细给出。

🎯 应用场景

ARC-Calib可广泛应用于各种基于视觉的机器人操作任务，例如机器人抓取、装配、焊接等。它尤其适用于需要在边缘设备上部署的机器人系统，以及需要快速适应不同机器人形态的场景。该研究有助于推动机器人技术的普及和智能化，提高生产效率和自动化水平。

📄 摘要（原文）

Camera-to-robot (also known as eye-to-hand) calibration is a critical component of vision-based robot manipulation. Traditional marker-based methods often require human intervention for system setup. Furthermore, existing autonomous markerless calibration methods typically rely on pre-trained robot tracking models that impede their application on edge devices and require fine-tuning for novel robot embodiments. To address these limitations, this paper proposes a model-based markerless camera-to-robot calibration framework, ARC-Calib, that is fully autonomous and generalizable across diverse robots and scenarios without requiring extensive data collection or learning. First, exploratory robot motions are introduced to generate easily trackable trajectory-based visual patterns in the camera's image frames. Then, a geometric optimization framework is proposed to exploit the coplanarity and collinearity constraints from the observed motions to iteratively refine the estimated calibration result. Our approach eliminates the need for extra effort in either environmental marker setup or data collection and model training, rendering it highly adaptable across a wide range of real-world autonomous systems. Extensive experiments are conducted in both simulation and the real world to validate its robustness and generalizability.