SimForcing: Distilling Simulation Motion Priors into Real-Domain Robot World Models

📄 arXiv: 2610.06598v1 📥 PDF

作者: Xiaodong Wang, Tianle Li, Chuanxin Song, Junliang Xie, Zhanmi Zhong, Suiying Wu, Peixi Peng

分类: cs.RO, cs.AI, cs.CV

发布日期: 2026-10-05

备注: Code: https://github.com/Wang-Xiaodong1899/SimForcing

🔗 代码/项目: GITHUB

💡 一句话要点

提出SimForcing以解决机器人世界模型的运动知识转移问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱四：生成式动作 (Generative Motion) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人世界模型 运动知识转移 潜在运动蒸馏 多块模拟条件 视觉动态生成

📋 核心要点

  1. 现有方法在从异构机器人视频中学习时面临外观差异和不准确预测的挑战，导致生成的真实视频质量不高。
  2. 论文提出SimForcing框架，通过潜在运动蒸馏和多块模拟条件来有效转移运动知识，减轻外观差异的影响。
  3. 在Bridge数据集上，SimForcing在PSNR、SSIM、LPIPS和FVD等指标上均表现最佳，且在InternData-A1上验证了其在机器人数据集上的适用性。

📝 摘要（中文）

动作条件下的机器人世界模型必须准确响应机器人轨迹，同时保持真实的视觉动态。然而，从异构机器人视频中学习仍然具有挑战性。模拟提供了结构化的运动监督，但外观差异阻碍了直接转移，且不准确的模拟预测可能误导真实视频生成。我们提出SimForcing，一个利用模拟作为可转移运动知识源和可控参考的框架。首先，通过潜在运动蒸馏从模拟教师中转移运动知识，减轻外观差异的影响。其次，引入多块模拟条件与条件丢弃，利用预测的模拟轨迹而不过度依赖其准确性。我们的分类器无关的引导方案统一了这两种思想，平衡基于内化运动知识的预测与额外由模拟潜在引导的预测。经过联合训练的学生生成模拟条件和真实视频，在推理时无需额外的世界模型。

🔬 方法详解

问题定义：本论文旨在解决机器人世界模型在生成真实视频时，如何有效转移来自模拟环境的运动知识的问题。现有方法在处理异构视频时，因外观差异和模拟预测不准确而导致生成效果不佳。

核心思路：SimForcing框架的核心思路是将模拟作为可转移的运动知识源，通过潜在运动蒸馏和多块模拟条件来增强模型的生成能力，减少外观差异的影响。

技术框架：该框架包括两个主要模块：潜在运动蒸馏模块和多块模拟条件模块。潜在运动蒸馏模块负责从模拟教师中提取运动知识，而多块模拟条件模块则通过条件丢弃策略来利用模拟轨迹。

关键创新：最重要的创新在于引入了潜在运动蒸馏和分类器无关的引导机制，这使得模型能够在不依赖于模拟准确性的情况下，平衡内化运动知识和模拟引导的预测。

关键设计：在模型设计中，采用了条件丢弃策略以提高对模拟轨迹的利用效率，并通过联合训练来优化生成的真实视频质量。损失函数的设计也考虑了运动知识的内化与外观差异的减轻。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Bridge数据集上，SimForcing在PSNR、SSIM、LPIPS和FVD等指标上均表现最佳，且未使用外部的实体预训练。此外，在InternData-A1数据集上的评估进一步支持了其在不同机器人数据集上的适用性，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶和人机交互等。通过有效地将模拟环境中的运动知识转移到真实世界，SimForcing可以显著提升机器人在复杂环境中的决策能力和适应性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Action-conditioned robot world models must respond precisely to robot trajectories while preserving realistic visual dynamics, yet learning both from heterogeneous robot videos remains challenging. Simulation offers structured motion supervision, but appearance differences hinder direct transfer, and inaccurate simulation predictions can misguide real-video generation. We present SimForcing, a simulation-guided framework that uses simulation both as a source of transferable motion knowledge and as a controllable reference for prediction. First, we transfer motion knowledge from a simulation teacher through latent-motion distillation, aligning temporal changes in latent space to internalize motion priors while mitigating the influence of appearance differences. Second, we introduce multi-block simulation conditioning with condition dropout to exploit predicted simulation trajectories without relying excessively on their accuracy. Our simulation-conditioning classifier-free guidance scheme unifies these two ideas by balancing predictions based on internalized motion knowledge with those additionally guided by simulation latents. The jointly trained student generates both simulation conditions and real-domain videos, requiring no additional world model at inference. On Bridge, SimForcing achieves the best PSNR, SSIM, LPIPS, and FVD among the compared methods without external embodied pretraining. Evaluation on InternData-A1 further supports its applicability across robot datasets. Moreover, using our trained world model to initialize a vision-language-action model improves LIBERO success, suggesting its utility for downstream policy learning. \url{https://github.com/Wang-Xiaodong1899/SimForcing}