AirExo-2: Scaling up Generalizable Robotic Imitation Learning with Low-Cost Exoskeletons

📄 arXiv: 2503.03081v3 📥 PDF

作者: Hongjie Fang, Chenxi Wang, Yiming Wang, Jingjing Chen, Shangning Xia, Jun Lv, Zihao He, Xiyan Yi, Yunhan Guo, Xinyu Zhan, Lixin Yang, Weiming Wang, Cewu Lu, Hao-Shu Fang

分类: cs.RO

发布日期: 2025-03-05 (更新: 2025-08-25)

备注: accepted to CoRL 2025

💡 一句话要点

AirExo-2：低成本外骨骼助力可泛化机器人模仿学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人模仿学习 外骨骼系统 数据收集 领域泛化 伪机器人示范

📋 核心要点

  1. 现有遥操作依赖昂贵机器人平台，在野外数据收集设备存在观测范围和领域差距的限制。
  2. AirExo-2提供低成本外骨骼系统，配合数据适配器生成伪机器人示范，用于策略学习。
  3. RISE-2融合3D空间和2D语义感知，实现鲁棒操作，实验证明其性能优于现有方法。

📝 摘要（中文）

为了扩展机器人模仿学习在现实世界的应用，需要高效且可扩展的示范数据收集方法。遥操作虽然有效，但依赖于昂贵且不灵活的机器人平台。在野外收集数据是一个有前景的替代方案，但现有的收集设备存在关键限制：手持设备提供的观测覆盖范围有限，全身系统通常需要使用机器人数据进行微调，以弥补领域差距。为了应对这些挑战，我们提出了AirExo-2，一种低成本的外骨骼系统，用于大规模的野外数据收集，以及几个适配器，可以将收集到的数据转换为适用于策略学习的伪机器人示范。我们进一步介绍了RISE-2，一种可泛化的模仿学习策略，它融合了3D空间和2D语义感知，以实现鲁棒的操作。实验表明，RISE-2在领域内和泛化评估中都优于先前的最先进方法。仅使用AirExo-2生成的自适应野外数据训练的RISE-2策略，其性能与使用遥操作数据训练的策略相当，突显了AirExo-2在可扩展和可泛化模仿学习方面的有效性和潜力。

🔬 方法详解

问题定义：论文旨在解决机器人模仿学习中，大规模收集高质量训练数据的问题。现有方法，如遥操作，成本高昂且依赖特定机器人平台；而直接在真实场景中收集数据，又面临观测范围有限和领域迁移困难等挑战。因此，如何低成本、高效地收集适用于机器人模仿学习的训练数据，是本文要解决的核心问题。

核心思路：论文的核心思路是利用低成本的外骨骼设备AirExo-2，在真实场景中收集人类操作数据，并通过数据适配器将这些数据转换为伪机器人示范。这种方法既降低了数据收集的成本，又避免了直接使用机器人进行数据收集的局限性。同时，结合RISE-2策略，融合3D空间和2D语义信息，增强策略的泛化能力。

技术框架：整体框架包含两个主要部分：数据收集和策略学习。首先，使用AirExo-2外骨骼系统收集人类在真实场景中的操作数据。然后，通过数据适配器将这些数据转换为伪机器人示范，包括机器人状态、动作等信息。最后，使用RISE-2策略，基于这些伪机器人示范进行模仿学习，训练出一个能够泛化到不同场景的机器人控制策略。

关键创新：论文的关键创新在于AirExo-2外骨骼系统和RISE-2策略的结合。AirExo-2提供了一种低成本、高效的数据收集方式，而RISE-2策略则能够有效地利用这些数据，学习到具有良好泛化能力的机器人控制策略。与现有方法相比，该方法无需昂贵的机器人平台，也无需进行复杂的领域迁移。

关键设计：AirExo-2的设计重点在于低成本和易用性，采用轻量化材料和模块化设计，方便用户穿戴和操作。数据适配器的设计则需要考虑如何将人类动作映射到机器人动作，可能涉及到运动学建模、逆运动学求解等技术。RISE-2策略的关键在于如何有效地融合3D空间和2D语义信息，可能涉及到深度学习模型的选择和训练，以及损失函数的设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，仅使用AirExo-2生成的自适应野外数据训练的RISE-2策略，其性能与使用遥操作数据训练的策略相当。这表明AirExo-2在可扩展和可泛化模仿学习方面具有显著的有效性和潜力。RISE-2在领域内和泛化评估中均优于现有方法，证明了其在鲁棒操作方面的优势。

🎯 应用场景

该研究成果可广泛应用于各种需要机器人进行操作的场景，例如家庭服务、工业自动化、医疗康复等。通过AirExo-2，可以低成本地收集大量训练数据，加速机器人模仿学习的进程，使机器人能够更好地适应复杂多变的环境，完成各种任务。未来，该技术有望推动机器人智能化水平的提升，使其在更多领域发挥作用。

📄 摘要（原文）

Scaling up robotic imitation learning for real-world applications requires efficient and scalable demonstration collection methods. While teleoperation is effective, it depends on costly and inflexible robot platforms. In-the-wild demonstrations offer a promising alternative, but existing collection devices have key limitations: handheld setups offer limited observational coverage, and whole-body systems often require fine-tuning with robot data due to domain gaps. To address these challenges, we present AirExo-2, a low-cost exoskeleton system for large-scale in-the-wild data collection, along with several adaptors that transform collected data into pseudo-robot demonstrations suitable for policy learning. We further introduce RISE-2, a generalizable imitation learning policy that fuses 3D spatial and 2D semantic perception for robust manipulations. Experiments show that RISE-2 outperforms prior state-of-the-art methods on both in-domain and generalization evaluations. Trained solely on adapted in-the-wild data produced by AirExo-2, the RISE-2 policy achieves comparable performance to the policy trained with teleoperated data, highlighting the effectiveness and potential of AirExo-2 for scalable and generalizable imitation learning.