Self-supervised Learning Of Visual Pose Estimation Without Pose Labels By Classifying LED States

📄 arXiv: 2509.10405v1 📥 PDF

作者: Nicholas Carlotti, Mirko Nava, Alessandro Giusti

分类: cs.RO

发布日期: 2025-09-12

备注: accepted at CoRL 2025

💡 一句话要点

提出一种基于LED状态分类的自监督视觉位姿估计方法，无需位姿标签。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 自监督学习 位姿估计 单目视觉 机器人 LED状态分类

📋 核心要点

  1. 现有位姿估计方法依赖于位姿标签或机器人CAD模型，成本高昂且泛化性受限。
  2. 该方法利用机器人上的LED状态作为监督信号，通过预测LED状态来学习位姿，实现自监督学习。
  3. 实验表明，该方法在性能上与有监督方法相当，并具有良好的泛化性和多机器人位姿估计能力。

📝 摘要（中文）

本文提出了一种用于地面机器人单目RGB相对位姿估计的模型，该模型从头开始训练，无需位姿标签，也无需关于机器人形状或外观的先验知识。训练时，我们假设：（i）机器人装有多个LED，其状态独立且在每一帧已知；（ii）已知每个LED的大致观察方向；（iii）提供具有已知目标距离的校准图像，以解决单目深度估计的模糊性。通过一对随机移动的机器人收集训练数据，无需外部基础设施或人工监督。我们的模型训练的任务是从图像中预测机器人上每个LED的状态。通过这样做，它学会了预测机器人在图像中的位置、距离和相对方位。在推理时，LED的状态是未知的，可以是任意的，并且不影响位姿估计性能。定量实验表明，我们的方法：与需要位姿标签或机器人CAD模型监督的SoA方法相比具有竞争力；可以推广到不同的领域；并且可以处理多机器人位姿估计。

🔬 方法详解

问题定义：论文旨在解决地面机器人的单目RGB相对位姿估计问题，现有方法通常需要大量的位姿标签或者精确的机器人CAD模型，这限制了其应用范围和泛化能力。缺乏标签数据和精确模型是现有方法的痛点。

核心思路：论文的核心思路是利用机器人上多个LED的状态作为监督信号，通过让模型学习预测这些LED的状态，间接地学习机器人的位姿信息。由于LED状态是已知的，因此可以实现自监督学习，无需人工标注的位姿标签。

技术框架：整体框架包含数据采集和模型训练两个阶段。数据采集阶段，两个机器人随机移动，记录RGB图像和LED状态。模型训练阶段，输入RGB图像，输出每个LED的状态预测。模型结构未知，但推测是某种卷积神经网络，损失函数基于LED状态预测的准确性。校准图像用于解决单目深度估计的尺度模糊问题。

关键创新：最重要的创新点在于利用LED状态作为自监督信号，避免了对位姿标签的依赖。这种方法将位姿估计问题转化为LED状态分类问题，巧妙地利用了机器人自身的特性进行自监督学习。与现有方法相比，无需人工标注数据或精确的CAD模型。

关键设计：论文的关键设计包括：(1) 使用多个LED，提供更丰富的监督信息；(2) 假设LED状态独立，简化了学习任务；(3) 使用校准图像解决单目深度估计的尺度模糊问题；(4) 损失函数的设计可能采用交叉熵损失，以优化LED状态的分类准确率。具体的网络结构和参数设置未知。

📊 实验亮点

实验结果表明，该自监督方法在位姿估计精度上与需要位姿标签或机器人CAD模型的有监督方法具有竞争力。此外，该方法还展现出良好的泛化能力，能够适应不同的环境和机器人外观。该方法还成功应用于多机器人位姿估计，验证了其在复杂场景下的适用性。

🎯 应用场景

该研究成果可应用于自主导航、机器人编队、多机器人协作等领域。无需人工标注位姿数据，降低了部署成本，提高了系统的鲁棒性和泛化能力。未来可应用于仓储物流、巡检安防等场景，实现机器人的自主定位和导航。

📄 摘要（原文）

We introduce a model for monocular RGB relative pose estimation of a ground robot that trains from scratch without pose labels nor prior knowledge about the robot's shape or appearance. At training time, we assume: (i) a robot fitted with multiple LEDs, whose states are independent and known at each frame; (ii) knowledge of the approximate viewing direction of each LED; and (iii) availability of a calibration image with a known target distance, to address the ambiguity of monocular depth estimation. Training data is collected by a pair of robots moving randomly without needing external infrastructure or human supervision. Our model trains on the task of predicting from an image the state of each LED on the robot. In doing so, it learns to predict the position of the robot in the image, its distance, and its relative bearing. At inference time, the state of the LEDs is unknown, can be arbitrary, and does not affect the pose estimation performance. Quantitative experiments indicate that our approach: is competitive with SoA approaches that require supervision from pose labels or a CAD model of the robot; generalizes to different domains; and handles multi-robot pose estimation.