SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds
作者: Yunsong Zhou, Hangxu Liu, Xuekun Jiang, Xing Shen, Yuanzhen Zhou, Hui Wang, Baole Fang, Yang Tian, Mulin Yu, Qiaojun Yu, Li Ma, Hengjie Li, Hanqing Wang, Jia Zeng, Jiangmiao Pang
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-04-09
备注: Website: https://internrobotics.github.io/sim1.github.io/
💡 一句话要点
SIM1：物理对齐的模拟器作为可变形物体世界中的零样本数据扩展器
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 可变形物体操作 物理对齐仿真 Sim-to-Real 数据增广 扩散模型 机器人学习 零样本迁移
📋 核心要点
- 现有机器人操作可变形物体的方法依赖大量真实数据，而基于刚体抽象的仿真难以提供有效的数据增广。
- SIM1通过物理对齐的real-to-sim-to-real流程，将真实场景数字化并校准可变形动力学，生成高质量的合成数据。
- 实验表明，使用SIM1生成的合成数据训练的策略，在真实世界中实现了与真实数据基线相当甚至更好的性能。
📝 摘要（中文）
在具身学习中，与可变形物体的机器人操作是一个数据密集型领域，其形状、接触和拓扑的协同演化远远超过了刚体的变化。虽然仿真有望缓解真实世界数据采集的成本，但目前流行的sim-to-real流程仍然以刚体抽象为基础，导致几何形状不匹配、脆弱的软动力学以及不适合布料交互的运动原语。我们认为仿真失败的原因不在于它是合成的，而在于它没有实际基础。为了解决这个问题，我们引入了SIM1，一个物理对齐的real-to-sim-to-real数据引擎，它将仿真建立在物理世界的基础上。给定有限的演示，该系统将场景数字化为度量一致的孪生体，通过弹性建模校准可变形动力学，并通过基于扩散的轨迹生成和质量过滤来扩展行为。该流程将稀疏的观察转化为具有接近演示保真度的可扩展合成监督。实验表明，在纯合成数据上训练的策略在1:15的等效比率下实现了与真实数据基线相当的性能，同时在真实世界部署中提供了90%的零样本成功率和50%的泛化增益。这些结果验证了物理对齐的仿真作为可变形操作的可扩展监督，以及数据高效策略学习的实用途径。
🔬 方法详解
问题定义：目前，可变形物体的机器人操作面临数据稀缺的挑战。传统的sim-to-real方法依赖于刚体抽象，无法准确模拟可变形物体的复杂动力学行为，导致在真实世界中性能不佳。因此，如何利用仿真数据有效地训练可变形物体的操作策略是一个关键问题。
核心思路：SIM1的核心思路是将仿真环境与真实世界进行物理对齐，从而生成更逼真、更有用的合成数据。通过数字化真实场景、校准可变形动力学和扩展行为，SIM1旨在弥合仿真与现实之间的差距，实现从仿真到真实的零样本迁移。
技术框架：SIM1包含以下主要模块：1) 场景数字化：将真实场景数字化为度量一致的孪生体。2) 动力学校准：通过弹性建模校准可变形动力学，使仿真环境更接近真实物理特性。3) 行为扩展：利用基于扩散的轨迹生成方法，在仿真环境中生成多样化的操作轨迹。4) 质量过滤：对生成的轨迹进行质量评估和过滤，选择高质量的轨迹用于策略训练。
关键创新：SIM1的关键创新在于其物理对齐的real-to-sim-to-real数据引擎。与传统的sim-to-real方法不同，SIM1不是简单地创建合成环境，而是将仿真环境与真实世界进行精确的物理对齐，从而生成更逼真、更有用的合成数据。此外，SIM1还利用基于扩散的轨迹生成方法，可以生成多样化的操作轨迹，从而提高策略的泛化能力。
关键设计：在动力学校准方面，SIM1采用弹性建模方法，通过调整弹性参数来拟合真实物体的形变行为。在轨迹生成方面，SIM1使用扩散模型，通过逐步添加噪声和去噪的过程生成新的轨迹。在质量过滤方面，SIM1使用多种指标，如轨迹的平滑度、成功率等，来评估轨迹的质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用SIM1生成的纯合成数据训练的策略，在真实世界中实现了90%的零样本成功率，并且在1:15的等效比率下，性能与真实数据基线相当。此外，该策略在真实世界部署中还实现了50%的泛化增益，表明SIM1能够有效地提高策略的鲁棒性和适应性。
🎯 应用场景
该研究成果可广泛应用于需要机器人操作可变形物体的领域，如服装制造、医疗手术、食品加工等。通过降低对真实数据的依赖，可以加速机器人学习和部署，提高生产效率和自动化水平。未来，该技术有望应用于更复杂的场景，如家庭服务机器人和灾难救援机器人。
📄 摘要（原文）
Robotic manipulation with deformable objects represents a data-intensive regime in embodied learning, where shape, contact, and topology co-evolve in ways that far exceed the variability of rigids. Although simulation promises relief from the cost of real-world data acquisition, prevailing sim-to-real pipelines remain rooted in rigid-body abstractions, producing mismatched geometry, fragile soft dynamics, and motion primitives poorly suited for cloth interaction. We posit that simulation fails not for being synthetic, but for being ungrounded. To address this, we introduce SIM1, a physics-aligned real-to-sim-to-real data engine that grounds simulation in the physical world. Given limited demonstrations, the system digitizes scenes into metric-consistent twins, calibrates deformable dynamics through elastic modeling, and expands behaviors via diffusion-based trajectory generation with quality filtering. This pipeline transforms sparse observations into scaled synthetic supervision with near-demonstration fidelity. Experiments show that policies trained on purely synthetic data achieve parity with real-data baselines at a 1:15 equivalence ratio, while delivering 90% zero-shot success and 50% generalization gains in real-world deployment. These results validate physics-aligned simulation as scalable supervision for deformable manipulation and a practical pathway for data-efficient policy learning.