MoSA: Motion-constrained Stress Adaptation for Mitigating Real-to-Sim Gap in Continuum Dynamics via Learning Residual Anisotropy

📄 arXiv: 2605.22597v1 📥 PDF

作者: Jiaxu Wang, Junhao He, Jingkai Sun, Yi Gu, Yunyang Mo, Jiahang Cao, Qiang Zhang, Renjing Xu

分类: cs.LG, cs.AI, cs.GR, cs.RO

发布日期: 2026-05-21

期刊: International Conference on Machine Learning 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

MoSA：通过学习残余各向异性，缓解连续体动力学中实物到模拟的差距

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 连续体动力学 实物到模拟 残余各向异性 物理信息学习 机器人操作

📋 核心要点

  1. 现有方法在校准模拟器时，受限于均匀和各向同性的物理模型假设，忽略了真实物体中普遍存在的轻微各向异性和异质性。
  2. MoSA利用各向同性模型作为物理先验，学习残余应力算子来捕获这些残余效应，并通过运动约束进一步提升学习效果。
  3. 实验结果表明，MoSA在动力学学习方面实现了更高的准确性、泛化性和鲁棒性，并成功应用于机器人操作任务中。

📝 摘要（中文）

从视觉观测中学习真实世界的动力学对于许多领域至关重要。一种常见的策略是通过估计物理参数来校准模拟器，但其准确性最终受限于底层物理模型，这些模型通常假设材料是均匀和各向同性的。即使合理，真实世界的物体通常表现出轻微的各向异性和异质性。在近各向同性的骨干网络被良好校准后，这些残余效应成为进一步缩小实物到模拟差距的关键瓶颈。虽然神经网络可以端到端地拟合动力学，但这种黑盒建模丢弃了强大的物理先验，导致数据效率低下和过拟合。因此，我们提出了MoSA，一种运动约束的应力自适应框架，旨在解决这些残余效应，以进一步改进实物到模拟的动力学学习。MoSA使用各向同性模型作为物理先验，并学习残余应力算子来捕获轻微的各向异性和异质性。它通过物理信息级联网络中受微平面约束的重新分布来逐步调整应力。我们进一步通过监督形变场的时空导数来施加运动约束。实验表明，我们学习到的动力学实现了卓越的准确性、泛化性和鲁棒性，同时学习了具有物理意义的残余各向异性。最后，我们在机器人操作环境中验证了MoSA，表明更好的实物到模拟的动力学建模可以转化为更可靠的模拟到真实的迁移。

🔬 方法详解

问题定义：论文旨在解决真实世界动力学模拟中，由于材料的轻微各向异性和异质性导致的实物到模拟的差距问题。现有方法通常假设材料是均匀和各向同性的，这限制了模拟的准确性。直接使用神经网络进行端到端学习虽然可以拟合动力学，但缺乏物理先验，导致数据效率低和容易过拟合。

核心思路：论文的核心思路是将物理模型作为先验知识，并学习残余应力算子来捕获材料的轻微各向异性和异质性。通过这种方式，可以在利用物理模型优势的同时，弥补其不足，从而更准确地模拟真实世界的动力学。同时，引入运动约束来进一步提升学习效果。

技术框架：MoSA框架包含以下主要模块：1) 各向同性模型：作为物理先验，提供基础的动力学模拟；2) 残余应力算子学习模块：学习残余应力，以捕获材料的各向异性和异质性；3) 微平面约束的应力重新分布模块：通过物理信息级联网络，逐步调整应力分布；4) 运动约束模块：通过监督形变场的时空导数，施加运动约束。整体流程是先使用各向同性模型进行初步模拟，然后通过残余应力算子学习模块进行修正，最后通过运动约束模块进行优化。

关键创新：最重要的技术创新点是提出了运动约束的应力自适应框架MoSA，它将物理模型作为先验知识，并学习残余应力算子来捕获材料的各向异性和异质性。与现有方法相比，MoSA能够更准确地模拟真实世界的动力学，并且具有更好的数据效率和泛化能力。

关键设计：MoSA的关键设计包括：1) 使用微平面约束来限制应力重新分布，保证物理合理性；2) 使用物理信息级联网络来逐步调整应力，提高学习效率；3) 通过监督形变场的时空导数来施加运动约束，提高模拟的准确性。具体的损失函数包括物理损失、残余应力损失和运动约束损失。网络结构采用级联结构，每一级都包含一个残余应力算子学习模块和一个微平面约束的应力重新分布模块。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MoSA在动力学学习方面实现了卓越的准确性、泛化性和鲁棒性。与现有方法相比，MoSA能够更准确地预测物体的形变和运动，并且在不同的场景和材料下都表现出良好的性能。在机器人操作实验中，MoSA成功地将模拟结果迁移到真实世界，提高了机器人操作的成功率。

🎯 应用场景

MoSA在机器人操作、虚拟现实、游戏开发等领域具有广泛的应用前景。通过更准确地模拟真实世界的动力学，可以提高机器人操作的可靠性，增强虚拟现实的沉浸感，以及提升游戏的真实感。此外，MoSA还可以应用于材料设计和工程仿真等领域，帮助人们更好地理解和预测材料的力学行为。

📄 摘要（原文）

Learning real-world dynamics from visual observations is crucial for various domains. A common strategy is to calibrate simulators by estimating physical parameters, yet accuracy is ultimately bounded by the underlying physical models, which often assume materials are homogeneous and isotropic. Even if reasonable, real-world objects typically exhibit mild anisotropy and heterogeneity. After the near-isotropic backbone is well calibrated, these residual effects become the key bottleneck for further closing the real-to-sim gap. Although neural networks can fit dynamics end-to-end, such black-box modeling discards strong physical priors, leading to poor data efficiency and overfitting. Therefore, we propose MoSA, a motion-constrained stress adaptation framework that targets these residual effects to further improve real-to-sim dynamics learning. MoSA uses an isotropic model as a physics prior and learns residual stress operators to capture mild anisotropy and heterogeneity. It progressively adapts stresses via microplane-constrained redistribution in a physics-informed cascaded network. We further impose motion constraints by supervising temporal and spatial derivatives of the deformation field. Experimentally, our learned dynamics achieves superior accuracy, generalization, and robustness, while learning physically meaningful residual anisotropy. Finally, we validate MoSA in a robot manipulation setting, showing that better real-to-sim dynamics modeling translates into more reliable sim-to-real transfer. Project Page is available at https://mercerai.github.io/MoSA/.