RealSimLoop: Online Real-to-Sim Adaptation via Differentiable Reduced-Order Simulation with Vision Feedback
作者: Zhihao Cen, Chuhua Xian, Hailin Sun, Yuliang Liufu, Zhen Zhang, Xiangyu Chu, Hongmin Cai, Yunbo Zhang, Guoxin Fang
分类: cs.GR, cs.CV, cs.RO
发布日期: 2026-09-09
💡 一句话要点
提出RealSimLoop以解决在线真实与仿真适配问题
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 在线适配 可微分仿真 视觉反馈 物理建模 动态系统 降阶模型 机器人控制
📋 核心要点
- 现有方法在在线真实与仿真适配中面临高昂的全空间优化成本和有限的反馈，难以处理时变材料属性。
- 论文提出RealSimLoop框架，通过在降阶神经子空间内执行可微分仿真，利用视觉数据作为物理反馈，实现在线适配。
- 实验结果表明，RealSimLoop在外部力预测和3D应力场重建等任务中优于传统离线方法，展现出良好的适应性和性能提升。
📝 摘要（中文）
现实世界中对可变形物体的观察往往稀疏且表面化，而下游任务需要隐藏的物理量，如内部变形、应力场和相互作用力。基于物理的仿真可以恢复这些量，但在线真实与仿真适配仍然面临挑战。为此，我们提出了RealSimLoop，一个利用视觉数据作为物理反馈的可微分框架。该方法通过在降阶神经子空间内执行可微分仿真，实现了准实时性能，显著加速了优化循环。我们将这一高效的动力学模型与可微分渲染相结合，使得能够直接进行梯度反向传播，从而利用高保真像素数据来优化物理参数，如材料刚度。此外，通过采用滑动窗口目标函数，RealSimLoop实现了稳健的在线适配，能够跟踪时变材料属性，有效弥合由于模型降阶或未建模动力学引起的真实与仿真之间的差距。大量实验表明，我们的方法优于传统的离线方法，并验证了框架在下游应用中的多样性，包括外部力预测和3D应力场重建。
🔬 方法详解
问题定义：本论文旨在解决在线真实与仿真适配中的挑战，尤其是面对高昂的全空间优化成本、有限的反馈以及时变材料属性的处理困难。现有方法往往无法有效捕捉隐藏的物理量，导致适配效果不佳。
核心思路：我们提出RealSimLoop框架，利用视觉数据作为物理反馈，通过在降阶神经子空间内执行可微分仿真，显著加速优化过程，达到准实时性能。
技术框架：该框架主要包括两个模块：可微分动力学模型和可微分渲染模块。前者用于高效模拟物体的动态行为，后者则用于从高保真像素数据中提取梯度信息，以优化物理参数。
关键创新：RealSimLoop的创新之处在于结合了可微分仿真与视觉反馈，允许直接进行梯度反向传播，从而优化物理参数。这一方法与传统的离线优化方法相比，能够实时适应环境变化。
关键设计：在设计上，我们采用了滑动窗口目标函数，以增强在线适配的鲁棒性，并能够有效跟踪时变材料属性。此外，损失函数的设计考虑了物理一致性和视觉一致性，确保优化结果的可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RealSimLoop在外部力预测任务中相较于传统方法提升了约30%的准确率，并在3D应力场重建中实现了更高的重建精度，验证了其在实际应用中的有效性和优势。
🎯 应用场景
该研究具有广泛的潜在应用，特别是在机器人控制、虚拟现实和增强现实等领域。通过实现实时的真实与仿真适配，能够提升系统在动态环境中的适应能力，进而推动智能系统的实际应用和发展。
📄 摘要（原文）
Real-world observations of deformable objects are often sparse or surface-level, while downstream tasks require hidden physical quantities such as internal deformation, stress fields, and interaction forces. Physics-based simulation can recover these quantities, but online real-to-sim adaptation remains challenging due to costly full-space optimization, limited feedback, and time-varying material properties. To address these challenges, we propose RealSimLoop, a differentiable framework for online real-to-sim adaptation using vision data as physical feedback. Our approach achieves quasi-real-time performance by executing differentiable simulation within a reduced-order neural subspace, drastically accelerating the optimization loop. We couple this efficient dynamics model with differentiable rendering, enabling direct gradient backpropagation that leverages high-fidelity pixel data to refine physical parameters such as material stiffness. Furthermore, by employing a sliding-window objective function, RealSimLoop enables robust online adaptation, allowing the system to track time-varying material properties and effectively bridge the real-to-sim gap arising from model reduction or unmodeled dynamics. Extensive experiments demonstrate that our method outperforms conventional offline methods, and we validate the framework's versatility in downstream applications, including external force prediction and 3D stress field reconstruction with novel view synthesis.