A Recipe for Efficient Sim-to-Real Transfer in Manipulation with Online Imitation-Pretrained World Models

📄 arXiv: 2510.02538v1 📥 PDF

作者: Yilin Wang, Shangzhe Li, Haoyi Niu, Zhiao Huang, Weitong Zhang, Hao Su

分类: cs.RO

发布日期: 2025-10-02

💡 一句话要点

提出基于世界模型的在线模仿预训练方法，提升机械臂操作的Sim-to-Real迁移效率。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 Sim-to-Real 世界模型 在线学习 机器人操作

📋 核心要点

  1. 离线模仿学习受限于数据覆盖范围，在真实机器人任务中表现不佳，泛化能力弱。
  2. 利用仿真器进行在线模仿预训练，结合离线微调，提升模型在真实环境中的鲁棒性和泛化性。
  3. 实验表明，该方法在Sim-to-Sim和Sim-to-Real迁移任务中显著优于离线模仿学习基线。

📝 摘要（中文）

本文旨在解决真实世界专家数据有限情况下的模仿学习问题。现有的离线模仿学习方法常常面临数据覆盖不足和严重的性能退化。为此，我们提出了一种利用机器人仿真器实现在线模仿学习的解决方案。我们的Sim-to-Real框架基于世界模型，结合了在线模仿预训练和离线微调。通过利用在线交互，我们的方法缓解了离线方法的数据覆盖限制，从而提高了鲁棒性，减少了微调期间的性能退化，并增强了领域迁移期间的泛化能力。实验结果表明，该方法有效，在Sim-to-Sim迁移中，成功率至少提高了31.7%，在Sim-to-Real迁移中，成功率至少提高了23.3%，优于现有的离线模仿学习基线。

🔬 方法详解

问题定义：论文旨在解决在真实机器人操作任务中，由于专家数据有限，离线模仿学习方法难以有效学习策略的问题。现有离线方法的痛点在于数据覆盖不足，导致模型在真实环境中泛化能力差，性能严重退化。

核心思路：论文的核心思路是利用仿真环境进行在线模仿预训练，以弥补真实数据不足的问题。通过在仿真环境中与环境进行交互，模型可以探索更广泛的状态空间，学习更鲁棒的策略。然后，使用少量真实数据进行离线微调，将模型适应到真实环境中。

技术框架：该Sim-to-Real框架主要包含两个阶段：在线模仿预训练和离线微调。在在线模仿预训练阶段，使用世界模型在仿真环境中训练策略，世界模型用于预测环境的未来状态，策略根据世界模型的预测进行动作选择。在离线微调阶段，使用真实世界的专家数据对预训练的策略进行微调，以适应真实环境的特性。

关键创新：该方法最重要的创新点在于结合了在线模仿预训练和离线微调，充分利用了仿真环境的优势，同时又能够适应真实环境的特性。与传统的离线模仿学习方法相比，该方法能够更好地探索状态空间，学习更鲁棒的策略。与完全依赖仿真训练的方法相比，该方法通过离线微调能够更好地适应真实环境的差异。

关键设计：论文使用了世界模型来预测环境的未来状态，世界模型通常由一个变分自编码器（VAE）和一个循环神经网络（RNN）组成。VAE用于将环境状态编码成一个低维的潜在向量，RNN用于预测潜在向量的未来状态。策略网络根据世界模型的预测选择动作。损失函数包括模仿学习损失（例如，行为克隆损失）和世界模型的预测损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在Sim-to-Sim迁移任务中，成功率至少提高了31.7%，在Sim-to-Real迁移任务中，成功率至少提高了23.3%，显著优于现有的离线模仿学习基线。这些结果验证了该方法在提高机器人操作任务的鲁棒性和泛化能力方面的有效性。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如装配、抓取、放置等。通过结合仿真和真实数据，可以降低机器人学习的成本，提高机器人在复杂环境中的适应能力。该方法在工业自动化、服务机器人等领域具有广泛的应用前景，有助于实现更智能、更灵活的机器人系统。

📄 摘要（原文）

We are interested in solving the problem of imitation learning with a limited amount of real-world expert data. Existing offline imitation methods often struggle with poor data coverage and severe performance degradation. We propose a solution that leverages robot simulators to achieve online imitation learning. Our sim-to-real framework is based on world models and combines online imitation pretraining with offline finetuning. By leveraging online interactions, our approach alleviates the data coverage limitations of offline methods, leading to improved robustness and reduced performance degradation during finetuning. It also enhances generalization during domain transfer. Our empirical results demonstrate its effectiveness, improving success rates by at least 31.7% in sim-to-sim transfer and 23.3% in sim-to-real transfer over existing offline imitation learning baselines.