Gaussian-Augmented Physics Simulation and System Identification with Complex Colliders

📄 arXiv: 2511.06846v1 📥 PDF

作者: Federico Vasile, Ri-Zhao Qiu, Lorenzo Natale, Xiaolong Wang

分类: cs.CV

发布日期: 2025-11-10

备注: Accepted to NeurIPS 2025. Project website: https://as-diffmpm.github.io/

💡 一句话要点

提出AS-DiffMPM，解决复杂碰撞体下基于视频的物理属性辨识难题

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 可微渲染 物质点法 系统辨识 物理模拟 碰撞处理

📋 核心要点

  1. 现有基于可微MPM的系统辨识方法难以处理物体与非平面碰撞体交互的复杂场景。
  2. AS-DiffMPM通过引入可微碰撞处理机制，使目标物体能与任意形状的碰撞体交互，实现端到端优化。
  3. 实验表明，AS-DiffMPM能与多种视图合成方法结合，有效提升了从视觉观测进行系统辨识的性能。

📝 摘要（中文）

本文提出了一种名为AS-DiffMPM的可微物质点法(MPM)框架，用于在任意形状碰撞体存在的情况下进行物理属性估计。从视频观测中辨识物体的几何形状、外观和物理属性是一项具有挑战性的任务，在机器人和图形学领域都有应用。现有方法依赖于完全可微的MPM和渲染技术来同时优化这些属性，但它们仅限于简化的物体-环境交互，即物体与平面碰撞体之间的交互，并且在物体与非平面表面碰撞等更具挑战性的场景中失效。AS-DiffMPM通过结合可微的碰撞处理机制扩展了现有方法，允许目标物体与复杂的刚体进行交互，同时保持端到端的优化。实验表明，AS-DiffMPM可以很容易地与各种新颖的视图合成方法相结合，作为一个从视觉观测中进行系统辨识的框架。

🔬 方法详解

问题定义：论文旨在解决从视频观测中辨识物体的物理属性，包括几何形状、外观和物理参数。现有方法依赖于可微的MPM，但在处理复杂碰撞，特别是物体与非平面碰撞体交互时，效果不佳，无法准确估计物体属性。现有方法的痛点在于碰撞处理的简化，导致在复杂场景下优化过程不稳定，辨识结果不准确。

核心思路：论文的核心思路是引入一个可微的碰撞处理机制，使得MPM模拟能够处理任意形状的碰撞体。通过使碰撞过程可微，整个系统可以进行端到端的优化，从而更准确地估计物体的物理属性。这种方法允许目标物体与复杂的刚体进行交互，克服了现有方法在处理复杂碰撞方面的局限性。

技术框架：AS-DiffMPM框架主要包含以下几个模块：1) 可微的MPM模拟器，用于模拟物体的物理行为；2) 可微的碰撞处理模块，用于处理物体与任意形状碰撞体之间的交互；3) 可微的渲染模块，用于将模拟结果渲染成图像；4) 优化模块，用于根据视频观测数据优化物体的物理属性。整个流程是端到端的，从视频观测开始，通过MPM模拟、碰撞处理和渲染，生成模拟图像，然后与真实图像进行比较，计算损失，并使用梯度下降等优化算法更新物体的物理属性。

关键创新：最重要的技术创新点在于可微的碰撞处理机制。与现有方法中简化的碰撞处理方式不同，AS-DiffMPM能够处理任意形状碰撞体，并且保证碰撞过程的可微性。这种可微的碰撞处理机制使得整个系统能够进行端到端的优化，从而更准确地估计物体的物理属性。

关键设计：论文中关于可微碰撞处理的具体实现细节未知。通常，可微碰撞处理需要仔细设计损失函数，以保证碰撞响应的平滑性和可微性。此外，可能还需要使用一些数值技巧来稳定优化过程。具体的参数设置、损失函数和网络结构等细节需要在论文中进一步查找。

📊 实验亮点

论文提出了AS-DiffMPM框架，能够处理与任意形状碰撞体的交互，实现了端到端的物理属性估计。虽然具体的性能数据和对比基线未知，但该方法在处理复杂碰撞场景方面具有显著优势，为基于视觉的系统辨识提供了一种新的解决方案。该方法可以与各种新颖的视图合成方法相结合，进一步提升系统辨识的性能。

🎯 应用场景

该研究成果可应用于机器人抓取、物体操控、虚拟现实、游戏开发等领域。例如，机器人可以通过视觉观测学习物体的物理属性，从而更好地进行抓取和操控。在虚拟现实和游戏开发中，可以利用该方法创建更逼真的物理交互效果，提升用户体验。未来，该技术有望扩展到更复杂的场景，例如软体机器人的控制和复杂环境下的物理模拟。

📄 摘要（原文）

System identification involving the geometry, appearance, and physical properties from video observations is a challenging task with applications in robotics and graphics. Recent approaches have relied on fully differentiable Material Point Method (MPM) and rendering for simultaneous optimization of these properties. However, they are limited to simplified object-environment interactions with planar colliders and fail in more challenging scenarios where objects collide with non-planar surfaces. We propose AS-DiffMPM, a differentiable MPM framework that enables physical property estimation with arbitrarily shaped colliders. Our approach extends existing methods by incorporating a differentiable collision handling mechanism, allowing the target object to interact with complex rigid bodies while maintaining end-to-end optimization. We show AS-DiffMPM can be easily interfaced with various novel view synthesis methods as a framework for system identification from visual observations.