A Mechanistic Analysis of Sim-and-Real Co-Training in Generative Robot Policies

📄 arXiv: 2604.13645v1 📥 PDF

作者: Yu Lei, Minghuan Liu, Abhiram Maddukuri, Zhenyu Jiang, Yuke Zhu

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-04-15

备注: 24 pages, 18 figure. Project page: https://science-of-co-training.github.io/

💡 一句话要点

分析Sim-to-Real协同训练机制，提升生成式机器人策略性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting)

关键词: Sim-to-Real 协同训练 机器人策略 生成式模型 表示学习

📋 核心要点

  1. 现有协同训练方法缺乏对内在机制的深入理解，阻碍了其有效应用和进一步优化。
  2. 本文提出结构化表示对齐和重要性重加权效应两个关键机制，解释协同训练的有效性。
  3. 通过实验验证了所提出的机制，并基于此提出了一种改进的协同训练方法，性能优于现有方法。

📝 摘要（中文）

协同训练是一种结合有限的真实世界数据和丰富的替代数据（如模拟或跨具身机器人数据）来训练生成式机器人策略的常用方法。尽管其在实践中取得了成功，但决定协同训练何时以及为何有效的机制仍然知之甚少。本文通过理论分析和实验研究，深入研究了Sim-to-Real协同训练的机制，并确定了两个内在效应来控制性能。第一个是“结构化表示对齐”，反映了跨域表示对齐和域可辨别性之间的平衡，并在下游性能中起主要作用。第二个是“重要性重加权效应”，它源于动作加权的域依赖性调制，并在次要层面上运行。我们通过在玩具模型上的受控实验以及广泛的Sim-to-Sim和Sim-to-Real机器人操作实验验证了这些效应。我们的分析为最近的协同训练技术提供了一个统一的解释，并提出了一种简单的方法，该方法始终优于先前的方法。更广泛地说，我们的目标是检查协同训练的内部运作，并促进这方面的研究。

🔬 方法详解

问题定义：本文旨在解决生成式机器人策略中，Sim-to-Real协同训练机制不明确的问题。现有方法虽然在实践中有效，但缺乏对其内在工作原理的理解，导致难以针对特定任务进行优化，并且缺乏理论指导。

核心思路：本文的核心思路是将Sim-to-Real协同训练分解为两个关键机制：结构化表示对齐和重要性重加权效应。结构化表示对齐关注跨域数据表示的对齐程度和域的可区分性，而重要性重加权效应则关注不同域数据对动作选择的影响。

技术框架：本文首先通过理论分析推导出这两个机制，然后设计了一系列受控实验来验证这些机制。实验包括在玩具模型上的实验，以及在Sim-to-Sim和Sim-to-Real机器人操作任务上的实验。基于对机制的理解，作者提出了一种改进的协同训练方法。

关键创新：本文最重要的技术创新在于识别并量化了结构化表示对齐和重要性重加权效应这两个关键机制。这为理解和改进协同训练提供了一个新的视角，并为设计更有效的协同训练算法提供了理论基础。与现有方法相比，本文更侧重于理解协同训练的内在机制，而非仅仅关注经验性的性能提升。

关键设计：在实验设计方面，作者精心设计了玩具模型和机器人操作任务，以便能够独立地控制和测量结构化表示对齐和重要性重加权效应。在算法设计方面，作者基于对机制的理解，提出了一种简单但有效的改进方法，该方法通过调整不同域数据的权重来优化协同训练过程。具体的参数设置和损失函数等细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

本文通过在玩具模型和机器人操作任务上的实验验证了结构化表示对齐和重要性重加权效应。实验结果表明，所提出的改进协同训练方法在Sim-to-Sim和Sim-to-Real任务上均优于现有方法，例如在机器人操作任务上取得了显著的性能提升。这些结果表明，理解协同训练的内在机制可以有效地指导算法设计。

🎯 应用场景

该研究成果可应用于各种需要Sim-to-Real迁移的机器人任务，例如机器人操作、自动驾驶和强化学习。通过理解协同训练的内在机制，可以更有效地利用仿真数据来训练真实世界的机器人策略，从而降低开发成本和提高机器人性能。该研究也为其他领域的协同训练研究提供了借鉴。

📄 摘要（原文）

Co-training, which combines limited in-domain real-world data with abundant surrogate data such as simulation or cross-embodiment robot data, is widely used for training generative robot policies. Despite its empirical success, the mechanisms that determine when and why co-training is effective remain poorly understood. We investigate the mechanism of sim-and-real co-training through theoretical analysis and empirical study, and identify two intrinsic effects governing performance. The first, \textbf{structured representation alignment"}, reflects a balance between cross-domain representation alignment and domain discernibility, and plays a primary role in downstream performance. The second, the \textbf{importance reweighting effect"}, arises from domain-dependent modulation of action weighting and operates at a secondary level. We validate these effects with controlled experiments on a toy model and extensive sim-and-sim and sim-and-real robot manipulation experiments. Our analysis offers a unified interpretation of recent co-training techniques and motivates a simple method that consistently improves upon prior approaches. More broadly, our aim is to examine the inner workings of co-training and to facilitate research in this direction.