Improving Cross-embodiment Transfer in Latent Action Models with Action-Similarity Supervision
作者: Maxime Alvarez, Renzo Caballero, Tatsuya Matsushima, Yusuke Iwasawa, Yutaka Matsuo
分类: cs.RO, cs.AI
发布日期: 2026-09-17
💡 一句话要点
通过动作相似性监督提升潜在动作模型的跨体转移能力
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)
关键词: 潜在动作模型 跨体转移 动作相似性监督 机器人学习 视觉噪声
📋 核心要点
- 现有的潜在动作模型在跨体转移时对背景视觉噪声敏感，导致相同动作在不同机器人间的潜在编码不一致。
- 论文提出通过动作相似性监督来训练潜在动作之间的相似性，从而减少对具体机器人动作的依赖。
- 实验表明，使用潜在动作预测的策略在跨体转移成功率上提升超过两倍，相似性监督优于传统的辅助损失方法。
📝 摘要（中文）
随着通用机器人策略通过大规模预训练获得视觉和语言能力，演示数据的收集依然成本高昂且与记录它们的机器人绑定。潜在动作模型（LAMs）通过从无动作视频中学习潜在动作来解决这些问题，但在实际应用中，LAMs对背景视觉噪声敏感，且不同机器人执行相同动作时可能编码不同的潜在表示。为了解决背景噪声问题，本文提出通过动作相似性监督来训练潜在动作之间的相似性，以匹配真实机器人动作序列的相似性。实验结果表明，使用潜在动作预测而非真实动作预测可以使跨体成功率提高两倍以上，且相似性监督的效果优于辅助损失函数。通过对末端执行器运动而非关节空间运动计算相似性，进一步提升了研究效果。
🔬 方法详解
问题定义：本文旨在解决潜在动作模型在跨体转移中对背景视觉噪声的敏感性，以及不同机器人间相同动作潜在编码不一致的问题。现有方法在处理这些挑战时效果不佳。
核心思路：论文提出通过动作相似性监督来训练潜在动作之间的相似性，使其与真实机器人动作序列的相似性相匹配，从而减少对具体机器人动作的依赖。
技术框架：整体架构包括潜在动作模型的训练阶段和评估阶段。在训练阶段，模型通过动作相似性监督学习潜在动作的相似性；在评估阶段，使用训练好的模型在不同机器人上进行闭环测试。
关键创新：最重要的技术创新在于引入动作相似性监督，允许潜在动作不需要编码具体的机器人特性，从而提升跨体转移的效果。与现有方法相比，这一方法在处理背景噪声和动作编码一致性方面表现更优。
关键设计：在损失函数设计上，采用了基于末端执行器运动的相似性计算，而非传统的关节空间运动，确保了潜在动作的有效比较。实验中固定了策略架构、超参数、数据集和评估协议，以确保结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用潜在动作预测的策略在跨体转移成功率上提升超过两倍，相较于传统的辅助损失方法，动作相似性监督的效果显著。具体而言，在相同的真实动作条件下，使用相似性监督的模型表现出更好的转移能力，验证了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括多种机器人系统的协作任务、智能制造、服务机器人等。通过提升跨体转移能力，机器人能够更灵活地适应不同的物理平台，降低了训练成本，增强了机器人在复杂环境中的适应性和通用性。
📄 摘要（原文）
As generalist robot policies gain vision and language from web-scale pretraining, demonstrations remain costly to collect and tied to the robot that recorded them. Latent action models (LAMs) address both by learning latent actions from action-free videos that can be shared across embodiments, however, in practice, LAMs are sensitive to background visual noise, and the same motion from two different robots may be encoded with different latents. One solution to the background visual noise is to add an auxiliary loss predicting the robot action from the latent action, further associating the latent action space to the embodiment specific robot action space. We study a different use of the same labels, through action-similarity supervision. The similarity between any two latent actions is trained to match the similarity of the two ground-truth robot action sequences. The ground-truth actions are never predicted by the LAM, so the latent action does not need to encode embodiment specifics. We evaluate cross-embodiment transfer on RoboTwin 2.0 in a controlled setup, two bimanual robots demonstrate disjoint task sets, a policy is trained on all the demonstrations, and each robot is evaluated closed-loop on the tasks only the other demonstrated. With the policy architecture and its hyperparameters, the dataset, and the evaluation protocol fixed, predicting latent actions instead of ground-truth actions more than doubles cross-embodiment success. Given the same ground-truth actions, similarity supervision transfers better than an auxiliary loss that predicts the ground-truth action during the LAM training. Computing the similarities on end-effector motion rather than joint-space motion, and letting the loss compare latent actions across the two robots, gives the best approach of the study.