World Translation: Minimizing Sim-to-Real Gap with Backward Dynamics Extraction and Unpaired Domain Translation
作者: Xinchen Yao, Leixin Chang, Hua Chen
分类: cs.RO
发布日期: 2026-07-20
备注: 8 pages, 8 figures
💡 一句话要点
提出世界翻译以解决仿真与现实间的差距问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 仿真与现实 动态建模 部分可观测性 跨域翻译 机器人控制
📋 核心要点
- 现有的从现实到仿真的方法在处理部分可观测性问题时存在不足，无法有效应对突发事件。
- 本文提出的世界翻译方法通过从观察到的转移中向后提取不可观测的动态信息，解决了这一问题。
- 在多种机器人平台上的实验结果显示，该方法在动态建模上优于基线，尤其在不可观测因素的情况下提升显著。
📝 摘要（中文）
仿真与现实之间的差距是将仿真训练的机器人策略应用于现实世界的基本挑战。现有的从现实到仿真的方法通过学习真实数据的转移动态来构建更真实的数字世界，但面临部分可观测性问题。为了解决这一限制，本文提出了世界翻译方法，利用仿真器和学习动态的互补优势，提取不可观测的动态信息并进行跨域翻译。实验表明，该方法在多种平台上实现了比基线更准确的动态建模，尤其在不可观测因素无法从观察历史中恢复时效果显著。
🔬 方法详解
问题定义：本文旨在解决仿真与现实之间的差距，尤其是现有方法在面对部分可观测性时的不足。现有方法假设不可观测因素可以从观察历史中恢复，但在信息不足的情况下，这种假设往往不成立。
核心思路：论文提出的世界翻译方法利用仿真器的确定性和学习模型的准确性，通过从观察到的转移中提取不可观测的动态信息，并将其跨域翻译，以保留动态内容和转移域风格。
技术框架：该方法的整体架构包括两个主要阶段：首先，从观察到的转移中提取动态信息；其次，将提取的信息进行跨域翻译，形成适用于现实世界的动态模型。
关键创新：最重要的创新在于将不可观测的动态信息提取与跨域翻译结合，解决了传统方法在部分可观测性下的局限性。与现有方法相比，该方法能够更好地处理突发事件带来的信息缺失。
关键设计：在技术细节上，论文设计了特定的损失函数以优化动态信息的提取，并采用了适应性网络结构以提高模型的泛化能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，世界翻译方法在多个机器人平台上实现了比基线方法更准确的动态建模，尤其在不可观测因素无法从观察历史中恢复时，性能提升幅度最大，验证了该方法的有效性和实用性。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在机器人控制、自动驾驶和虚拟现实等领域。通过缩小仿真与现实之间的差距，能够更有效地将仿真训练的策略应用于实际场景，提升机器人在复杂环境中的适应能力和决策效率。
📄 摘要（原文）
The gap between simulation and reality remains a fundamental challenge in deploying simulation-trained robotic policies in the real world. Real-to-sim methods narrow this gap from the real side, learning transition dynamics from real data to build a more realistic digital world. Learned dynamics models are their dominant instance. Such methods, however, face a partial observability problem: the same observation may branch to different transitions due to unobservable factors. Existing methods assume these factors can be recovered from observation history. However, this may fail whenever observation history is uninformative, such as a sudden contact event with no prior warning. To address this limitation, we propose \textit{World Translation}, which exploits a complementary strength of simulators and learned dynamics. Simulators are deterministic but physically imperfect, while learned models are accurate but underdetermined under partial observability. Rather than predicting transitions forward from history, we extract the unobservable dynamics information backward from an observed transition, then translate this feature across simulation and reality as an unpaired domain-translation problem that preserves dynamics content while transferring domain style. Experiments across humanoid, quadruped, and manipulator platforms show that our method achieves more accurate dynamics modeling than baselines, with the largest gains when unobservable factors cannot be recovered from observation history. Real-robot deployment on Go2 quadruped confirms improved policy transfer.