Real-is-Sim: Bridging the Sim-to-Real Gap with a Dynamic Digital Twin
作者: Jad Abou-Chakra, Lingfeng Sun, Krishan Rana, Brandon May, Karl Schmeckpeper, Niko Suenderhauf, Maria Vittoria Minniti, Laura Herlant
分类: cs.RO, cs.AI
发布日期: 2025-04-04 (更新: 2025-07-02)
💡 一句话要点
提出Real-is-Sim框架，利用动态数字孪生弥合模拟到真实的差距，实现机器人行为克隆。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 机器人控制 行为克隆 Sim-to-Real 数字孪生 动态仿真
📋 核心要点
- 现有行为克隆方法或依赖真实数据难以安全测试，或需复杂适配以跨越模拟到真实差距。
- Real-is-Sim框架构建动态数字孪生，同步真实世界，策略在模拟环境执行，真实机器人跟随模拟机器人。
- 实验表明，虚拟评估与真实世界结果一致，且真实数据可利用虚拟rollout增强，提升策略性能。
📝 摘要（中文）
本文提出了一种名为real-is-sim的新方法，用于将仿真集成到行为克隆流程中。与缺乏部署前安全策略测试能力的纯真实数据方法，以及需要复杂适配以跨越模拟到真实差距的sim-to-real方法不同，我们的框架允许策略在真实硬件和并行虚拟环境之间无缝切换。real-is-sim的核心是一个由Embodied Gaussian模拟器驱动的动态数字孪生，它以60Hz的频率与真实世界同步。该孪生充当行为克隆策略和真实机器人之间的中介。策略使用从模拟器状态导出的表征进行训练，并且始终作用于模拟机器人，而不是真实机器人。在部署期间，真实机器人只需跟随模拟机器人的关节状态，并且模拟会不断地用真实世界的测量结果进行校正。这种设置，即模拟器驱动所有策略执行并保持与物理世界的实时同步，将跨越sim-to-real差距的责任转移到数字孪生的同步机制，而不是策略本身。我们在一个长时程操作任务(PushT)上展示了real-is-sim，表明虚拟评估与真实世界的结果一致。我们进一步展示了如何使用虚拟rollout来增强真实世界的数据，并将结果与在不同表征上训练的策略进行比较，这些表征来自模拟器状态，包括对象姿势和来自静态和机器人安装相机的渲染图像。我们的结果突出了real-is-sim框架在训练、评估和部署阶段的灵活性。
🔬 方法详解
问题定义：现有行为克隆方法在机器人控制领域面临挑战。纯真实数据方法无法在部署前安全地测试策略，存在潜在风险。传统的Sim-to-Real方法需要复杂的领域自适应技术来弥合模拟环境和真实环境之间的差距，这增加了开发和部署的难度和成本。
核心思路：Real-is-Sim的核心思想是构建一个与真实世界实时同步的动态数字孪生。策略不是直接作用于真实机器人，而是作用于数字孪生中的模拟机器人。真实机器人则跟随模拟机器人的状态。通过这种方式，策略的训练和执行都在模拟环境中进行，从而避免了直接与真实世界交互的风险，并将Sim-to-Real的挑战转移到数字孪生的同步机制上。
技术框架：Real-is-Sim框架包含以下几个主要模块：1) Embodied Gaussian Simulator：用于构建和维护动态数字孪生，并提供高保真度的模拟环境。2) 同步机制：负责将真实世界的测量数据（如机器人关节状态、物体位置等）实时同步到数字孪生中，并校正模拟环境。3) 行为克隆策略：使用从模拟器状态导出的表征进行训练，并输出模拟机器人的控制指令。4) 真实机器人控制：接收模拟机器人的关节状态，并控制真实机器人跟随其运动。整个流程以60Hz的频率运行，保证了实时性和同步性。
关键创新：Real-is-Sim最重要的创新在于将Sim-to-Real的挑战从策略本身转移到了数字孪生的同步机制上。传统方法需要策略具备一定的泛化能力，以适应模拟环境和真实环境之间的差异。而Real-is-Sim通过实时同步的数字孪生，使得策略始终在与真实世界高度一致的模拟环境中执行，从而降低了对策略泛化能力的要求。
关键设计：Real-is-Sim的关键设计包括：1) 使用Embodied Gaussian Simulator构建高保真度的模拟环境。2) 设计高效的同步机制，保证数字孪生与真实世界的实时同步。3) 使用行为克隆方法训练策略，并选择合适的表征（如对象姿势、渲染图像等）。4) 采用跟随控制策略，使真实机器人能够精确地跟随模拟机器人的运动。具体的参数设置、损失函数和网络结构等细节取决于具体的任务和应用场景。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Real-is-Sim框架在长时程操作任务(PushT)上表现出色，虚拟评估与真实世界的结果高度一致。此外，通过使用虚拟rollout增强真实世界的数据，可以进一步提高策略的性能。实验还对比了不同表征（如对象姿势、渲染图像等）对策略性能的影响，为策略设计提供了指导。
🎯 应用场景
Real-is-Sim框架具有广泛的应用前景，可应用于工业自动化、机器人操作、自动驾驶等领域。它能够降低机器人开发的成本和风险，提高机器人的性能和可靠性。未来，该框架有望促进机器人技术在更多领域的应用，例如医疗、物流、服务等。
📄 摘要（原文）
We introduce real-is-sim, a new approach to integrating simulation into behavior cloning pipelines. In contrast to real-only methods, which lack the ability to safely test policies before deployment, and sim-to-real methods, which require complex adaptation to cross the sim-to-real gap, our framework allows policies to seamlessly switch between running on real hardware and running in parallelized virtual environments. At the center of real-is-sim is a dynamic digital twin, powered by the Embodied Gaussian simulator, that synchronizes with the real world at 60Hz. This twin acts as a mediator between the behavior cloning policy and the real robot. Policies are trained using representations derived from simulator states and always act on the simulated robot, never the real one. During deployment, the real robot simply follows the simulated robot's joint states, and the simulation is continuously corrected with real world measurements. This setup, where the simulator drives all policy execution and maintains real-time synchronization with the physical world, shifts the responsibility of crossing the sim-to-real gap to the digital twin's synchronization mechanisms, instead of the policy itself. We demonstrate real-is-sim on a long-horizon manipulation task (PushT), showing that virtual evaluations are consistent with real-world results. We further show how real-world data can be augmented with virtual rollouts and compare to policies trained on different representations derived from the simulator state including object poses and rendered images from both static and robot-mounted cameras. Our results highlight the flexibility of the real-is-sim framework across training, evaluation, and deployment stages. Videos available at https://real-is-sim.github.io.