Ag2x2: Robust Agent-Agnostic Visual Representations for Zero-Shot Bimanual Manipulation
作者: Ziyin Xiong, Yinghan Chen, Puhao Li, Yixin Zhu, Tengyu Liu, Siyuan Huang
分类: cs.RO
发布日期: 2025-07-26
备注: Accepted to IROS 2025, oral presentation. Project page link: https://ziyin-xiong.github.io/ag2x2.github.io/
💡 一句话要点
Ag2x2：用于零样本双臂操作的鲁棒且与智能体无关的视觉表征
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 双臂操作 零样本学习 视觉表征 机器人学习 模仿学习
📋 核心要点
- 现有方法在零样本双臂操作中忽略了智能体特定信息，如末端执行器位置，限制了双臂协调能力。
- Ag2x2通过协调感知视觉表征，联合编码对象状态和手部运动模式，同时保持与智能体无关性。
- Ag2x2在多个双臂任务中达到73.5%的成功率，优于基线方法，并可用于模仿学习。
📝 摘要（中文）
双臂操作是人类日常活动的基础，但由于其固有的协调控制复杂性，仍然是一项具有挑战性的任务。最近的进展通过从人类视频中导出的与智能体无关的视觉表征，实现了单臂操作技能的零样本学习；然而，这些方法忽略了双臂协调所需的关键智能体特定信息，例如末端执行器的位置。我们提出了Ag2x2，一个通过协调感知视觉表征进行双臂操作的计算框架，该框架联合编码对象状态和手部运动模式，同时保持与智能体无关性。广泛的实验表明，Ag2x2在Bi-DexHands和PerAct2的13个不同的双臂任务中实现了73.5%的成功率，包括具有可变形对象（如绳索）的挑战性场景。该性能优于基线方法，甚至超过了使用专家设计的奖励训练的策略的成功率。此外，我们表明，通过Ag2x2学习的表征可以有效地用于模仿学习，从而建立一个无需专家监督即可扩展技能获取的管道。通过在各种任务中保持鲁棒的性能，而无需人工演示或设计的奖励，Ag2x2代表了朝着可扩展学习复杂双臂机器人技能迈出的一步。
🔬 方法详解
问题定义：论文旨在解决双臂操作中，如何学习与智能体无关的视觉表征，从而实现零样本泛化的问题。现有方法，尤其是单臂操作的零样本学习方法，忽略了双臂操作中重要的智能体特定信息（如末端执行器位置），导致无法有效进行双臂协调。
核心思路：核心思路是设计一种协调感知的视觉表征，该表征既能编码对象的状态，又能捕捉手部运动的模式，同时保持与具体机器人智能体的无关性。通过这种方式，模型可以学习到通用的双臂操作技能，并将其迁移到不同的机器人平台上。
技术框架：Ag2x2框架主要包含以下几个模块：1) 视觉编码器：用于从图像中提取视觉特征；2) 运动编码器：用于编码手部运动信息；3) 协调模块：将视觉特征和运动信息进行融合，生成协调感知的视觉表征；4) 控制策略：基于学习到的表征，生成控制指令，驱动机器人完成任务。整个流程是端到端可训练的。
关键创新：关键创新在于协调感知视觉表征的设计。与以往只关注对象状态的视觉表征不同，Ag2x2同时考虑了手部运动信息，从而更好地捕捉了双臂操作的内在规律。此外，Ag2x2通过特定的训练策略，保证了学习到的表征与智能体无关，从而实现了零样本泛化。
关键设计：在视觉编码器方面，可以使用预训练的卷积神经网络（如ResNet）。运动编码器可以使用循环神经网络（如LSTM）来处理时序信息。协调模块可以使用注意力机制或简单的全连接层来实现视觉特征和运动信息的融合。损失函数可以包括重构损失、对比损失等，以鼓励模型学习到高质量的视觉表征。具体的参数设置需要根据具体的任务进行调整。
🖼️ 关键图片
📊 实验亮点
Ag2x2在Bi-DexHands和PerAct2数据集的13个双臂操作任务上取得了显著的成果，成功率达到73.5%，超越了现有的基线方法，甚至超过了使用专家设计的奖励函数训练的策略。尤其是在处理可变形对象（如绳索）的任务中，Ag2x2表现出强大的鲁棒性。此外，该研究还证明了Ag2x2学习到的表征可以有效地用于模仿学习，为机器人技能获取提供了一种新的途径。
🎯 应用场景
该研究成果可应用于各种需要双臂协调操作的机器人应用场景，例如：工业自动化中的装配、医疗手术机器人中的辅助操作、家庭服务机器人中的物品整理等。通过学习通用的双臂操作技能，可以降低机器人部署的成本，提高机器人的智能化水平，并最终实现更广泛的机器人应用。
📄 摘要（原文）
Bimanual manipulation, fundamental to human daily activities, remains a challenging task due to its inherent complexity of coordinated control. Recent advances have enabled zero-shot learning of single-arm manipulation skills through agent-agnostic visual representations derived from human videos; however, these methods overlook crucial agent-specific information necessary for bimanual coordination, such as end-effector positions. We propose Ag2x2, a computational framework for bimanual manipulation through coordination-aware visual representations that jointly encode object states and hand motion patterns while maintaining agent-agnosticism. Extensive experiments demonstrate that Ag2x2 achieves a 73.5% success rate across 13 diverse bimanual tasks from Bi-DexHands and PerAct2, including challenging scenarios with deformable objects like ropes. This performance outperforms baseline methods and even surpasses the success rate of policies trained with expert-engineered rewards. Furthermore, we show that representations learned through Ag2x2 can be effectively leveraged for imitation learning, establishing a scalable pipeline for skill acquisition without expert supervision. By maintaining robust performance across diverse tasks without human demonstrations or engineered rewards, Ag2x2 represents a step toward scalable learning of complex bimanual robotic skills.