High-Precision Transformer-Based Visual Servoing for Humanoid Robots in Aligning Tiny Objects

📄 arXiv: 2503.04862v2 📥 PDF

作者: Jialong Xue, Wei Gao, Yu Wang, Chao Ji, Dongdong Zhao, Shi Yan, Shiwu Zhang

分类: cs.CV, cs.RO

发布日期: 2025-03-06 (更新: 2025-07-02)

备注: for associated video, see https://b23.tv/cklF7aK

DOI: 10.1109/IROS60139.2025.11246561

💡 一句话要点

提出基于Transformer的视觉伺服方法，解决人形机器人高精度微小物体对准问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 视觉伺服 人形机器人 Transformer 微小物体对准 多视角融合

📋 核心要点

  1. 人形机器人精确对准微小物体是现实应用中的关键挑战，现有方法难以保证精度。
  2. 提出基于Transformer的视觉伺服方法，融合多视角信息，精确估计工具与目标物体间的相对位置。
  3. 实验表明，该方法在M4-M8螺丝对准任务中，实现了0.8-1.3mm的平均误差和93%-100%的成功率。

📝 摘要（中文）

本文提出了一种基于视觉的框架，用于精确估计和控制人形机器人手中工具与目标物体之间的相对位置，例如螺丝刀头和螺丝头槽。该方法融合了机器人头部和躯干摄像头图像以及头部关节角度，所提出的基于Transformer的视觉伺服方法可以有效地纠正手持工具的位置误差，尤其是在近距离时。在M4-M8螺丝上的实验表明，平均收敛误差为0.8-1.3毫米，成功率为93％-100％。通过对比分析，结果验证了这种高精度微小物体对准能力是由本文提出的距离估计Transformer架构和多感知头机制实现的。

🔬 方法详解

问题定义：人形机器人在现实场景中需要进行高精度的微小物体对准操作，例如螺丝刀对准螺丝孔。现有的视觉伺服方法在近距离、小物体场景下，由于视角限制、图像噪声等因素，难以保证对准精度，鲁棒性较差。

核心思路：本文的核心思路是利用Transformer强大的特征提取和融合能力，结合多视角信息，更准确地估计工具和目标物体之间的相对位置关系。通过学习图像特征与位置误差之间的映射关系，实现精确的视觉伺服控制。

技术框架：该方法的技术框架主要包括以下几个模块：1) 多视角图像采集：利用机器人头部和躯干的摄像头获取多视角图像。2) 特征提取：使用卷积神经网络（CNN）提取图像特征。3) 特征融合：使用Transformer网络融合多视角特征和头部关节角度信息。4) 位置估计：利用融合后的特征估计工具和目标物体之间的相对位置。5) 视觉伺服控制：根据位置估计结果，控制机器人运动，调整工具姿态。

关键创新：本文最重要的技术创新点在于提出了Distance Estimation Transformer架构和Multi-Perception-Head机制。Distance Estimation Transformer专门用于估计距离信息，Multi-Perception-Head机制则允许网络从多个角度感知输入信息，从而提高位置估计的准确性。与传统的视觉伺服方法相比，该方法能够更有效地处理多视角信息，提高对噪声的鲁棒性。

关键设计：在网络结构方面，Transformer的输入包括从不同摄像头提取的图像特征以及头部关节角度。损失函数的设计目标是最小化估计位置与真实位置之间的误差。具体而言，使用了L1损失函数来衡量位置误差。Multi-Perception-Head机制的具体实现方式是，将Transformer的输出分成多个头，每个头负责预测不同的位置参数。通过这种方式，网络可以学习到更丰富的特征表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在M4-M8螺丝对准任务中，平均收敛误差为0.8-1.3毫米，成功率为93％-100％。与传统的基于图像处理的视觉伺服方法相比，该方法在精度和鲁棒性方面均有显著提升。通过消融实验，验证了Distance Estimation Transformer架构和Multi-Perception-Head机制的有效性。

🎯 应用场景

该研究成果可应用于人形机器人在工业制造、医疗手术等领域中的精密装配任务。例如，在自动化生产线上，机器人可以利用该方法精确地完成螺丝拧紧、零件组装等操作。在医疗领域，该方法可以辅助医生进行微创手术，提高手术精度和安全性。未来，该方法还可以扩展到其他类型的机器人和任务中，例如无人机巡检、自动驾驶等。

📄 摘要（原文）

High-precision tiny object alignment remains a common and critical challenge for humanoid robots in real-world. To address this problem, this paper proposes a vision-based framework for precisely estimating and controlling the relative position between a handheld tool and a target object for humanoid robots, e.g., a screwdriver tip and a screw head slot. By fusing images from the head and torso cameras on a robot with its head joint angles, the proposed Transformer-based visual servoing method can correct the handheld tool's positional errors effectively, especially at a close distance. Experiments on M4-M8 screws demonstrate an average convergence error of 0.8-1.3 mm and a success rate of 93\%-100\%. Through comparative analysis, the results validate that this capability of high-precision tiny object alignment is enabled by the Distance Estimation Transformer architecture and the Multi-Perception-Head mechanism proposed in this paper.