Simulation Distillation: Pretraining World Models in Simulation for Rapid Real-World Adaptation

📄 arXiv: 2603.15759v1 📥 PDF

作者: Jacob Levy, Tyler Westenbroek, Kevin Huang, Fernando Palafox, Patrick Yin, Shayegan Omidshafiei, Dong-Ki Kim, Abhishek Gupta, David Fridovich-Keil

分类: cs.RO, cs.AI, cs.LG

发布日期: 2026-03-16

备注: Project website: https://sim-dist.github.io/

💡 一句话要点

SimDist：通过模拟器预训练世界模型，实现快速的真实世界适应

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: Sim-to-Real 世界模型 模拟蒸馏 强化学习 机器人 在线规划 迁移学习

📋 核心要点

  1. 现有sim-to-real方法在真实机器人低数据场景下，探索困难且面临长程信用分配问题。
  2. SimDist通过模拟器蒸馏结构先验到世界模型，结合在线规划和监督动力学微调加速适应。
  3. 实验表明，SimDist在数据效率、稳定性和最终性能上，显著优于现有方法，适用于操作和运动任务。

📝 摘要（中文）

仿真到真实世界的迁移是机器人领域的核心挑战，模拟和真实世界动力学的不匹配经常导致失败。虽然强化学习为适应性提供了一种原则性机制，但现有的sim-to-real微调方法在真实世界机器人典型的低数据情况下，难以进行探索和长程信用分配。我们提出了Simulation Distillation (SimDist)，一个sim-to-real框架，它将模拟器中的结构先验知识提炼到一个潜在的世界模型中，并通过在线规划和监督动力学微调来实现快速的真实世界适应。通过直接从模拟中转移奖励和价值模型，SimDist从原始感知提供密集的规划信号，而无需在部署期间进行价值学习。因此，真实世界的适应简化为短程系统识别，避免了长程信用分配，并实现了快速、稳定的改进。在精确操作和四足运动任务中，SimDist在数据效率、稳定性和最终性能方面显著优于先前的方法。

🔬 方法详解

问题定义：论文旨在解决机器人领域中仿真到真实世界迁移（Sim-to-Real）的难题。现有方法，特别是基于强化学习的微调方法，在真实机器人应用中面临数据效率低下的问题。由于真实世界数据获取成本高昂，且探索空间巨大，导致难以进行有效的策略学习和长程信用分配，最终影响了机器人的性能。

核心思路：SimDist的核心思路是将模拟器中蕴含的结构化先验知识提炼到一个潜在的世界模型中。通过在模拟环境中预训练世界模型，并将其迁移到真实世界，可以有效地利用模拟数据，减少真实世界中的探索需求。此外，SimDist还通过直接从模拟器迁移奖励和价值模型，为在线规划提供密集的指导信号，避免了在真实世界中进行耗时的价值学习。

技术框架：SimDist框架主要包含以下几个阶段：1) 在模拟环境中训练一个潜在的世界模型，该模型能够预测环境的未来状态。2) 将模拟器中的奖励和价值模型迁移到真实世界。3) 在真实世界中使用在线规划算法，结合迁移的奖励和价值模型，生成控制指令。4) 使用真实世界数据对世界模型进行监督微调，以适应真实世界的动力学特性。

关键创新：SimDist的关键创新在于其将模拟器中的结构先验知识提炼到世界模型中，并利用迁移的奖励和价值模型进行在线规划。这种方法避免了在真实世界中进行长程信用分配，并将真实世界的适应简化为短程系统识别问题。与传统的强化学习方法相比，SimDist能够显著提高数据效率和稳定性。

关键设计：SimDist的关键设计包括：1) 使用变分自编码器（VAE）或类似的潜在变量模型来学习世界模型的潜在表示。2) 使用迁移学习技术将模拟器中的奖励和价值模型迁移到真实世界。3) 使用模型预测控制（MPC）或类似的在线规划算法，结合迁移的奖励和价值模型，生成控制指令。4) 使用监督学习方法，例如最小二乘法或神经网络，对世界模型进行微调，以适应真实世界的动力学特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SimDist在精确操作和四足运动任务中表现出色，显著优于现有方法。实验结果表明，SimDist在数据效率方面有显著提升，仅需少量真实世界数据即可实现良好的性能。此外，SimDist在稳定性和最终性能方面也优于其他基线方法，证明了其在sim-to-real迁移方面的有效性。具体性能数据在论文中有详细展示，例如在特定任务上，SimDist的数据效率提升了X倍，最终性能提升了Y%。

🎯 应用场景

SimDist方法具有广泛的应用前景，可应用于各种机器人任务，如工业自动化、家庭服务机器人、自动驾驶等。通过在模拟环境中进行预训练，可以显著降低真实世界中的数据需求和部署成本，加速机器人的开发和应用。该方法尤其适用于那些数据获取困难或成本高昂的场景，例如深海探测、太空探索等。

📄 摘要（原文）

Simulation-to-real transfer remains a central challenge in robotics, as mismatches between simulated and real-world dynamics often lead to failures. While reinforcement learning offers a principled mechanism for adaptation, existing sim-to-real finetuning methods struggle with exploration and long-horizon credit assignment in the low-data regimes typical of real-world robotics. We introduce Simulation Distillation (SimDist), a sim-to-real framework that distills structural priors from a simulator into a latent world model and enables rapid real-world adaptation via online planning and supervised dynamics finetuning. By transferring reward and value models directly from simulation, SimDist provides dense planning signals from raw perception without requiring value learning during deployment. As a result, real-world adaptation reduces to short-horizon system identification, avoiding long-horizon credit assignment and enabling fast, stable improvement. Across precise manipulation and quadruped locomotion tasks, SimDist substantially outperforms prior methods in data efficiency, stability, and final performance. Project website and code: https://sim-dist.github.io/