Generalized Dynamics Generation towards Scannable Physical World Model

📄 arXiv: 2510.15041v1 📥 PDF

作者: Yichen Li, Zhiyi Li, Brandon Feng, Dinghuai Zhang, Antonio Torralba

分类: cs.CV

发布日期: 2025-10-16

💡 一句话要点

GDGen：基于势能的通用动力学生成框架，用于可扫描物理世界建模

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 通用动力学生成 势能建模 数字孪生 物理世界模型 神经场 机器人仿真 弹性动力学

📋 核心要点

  1. 现有数字孪生世界缺乏逼真的交互动力学，限制了具身智能体在复杂物理环境中的泛化能力。
  2. GDGen从势能角度出发，统一建模刚体、铰接体和软体动力学，实现与几何无关的通用动力学生成。
  3. 实验证明GDGen能够有效统一多种模拟范式，为创建交互式虚拟环境和机器人训练提供基础。

📝 摘要（中文）

本文提出GDGen（广义动力学生成的广义表示），该框架从势能的角度出发，将刚体、铰接体和软体动力学无缝集成到一个统一的、与几何无关的系统中。GDGen基于任何稳定物理系统的势能都应较低这一基本原则运行。这种新颖的视角使我们能够将世界视为一个整体，并从简单的运动观察中推断出潜在的物理属性。我们通过引入方向刚度来扩展经典弹性动力学，以捕捉广泛的物理行为，涵盖软弹性、铰接和刚体系统。我们提出了一个专门的网络来建模扩展的材料属性，并采用神经场以与几何无关的方式表示变形。大量实验表明，GDGen能够稳健地统一各种模拟范式，为创建交互式虚拟环境和在复杂、动态丰富的场景中训练机器人代理提供了一个通用的基础。

🔬 方法详解

问题定义：现有方法难以统一处理刚体、铰接体和软体等多种物理对象的动力学建模，导致数字孪生世界缺乏逼真的交互性。现有方法通常针对特定类型的物体进行建模，泛化能力差，难以应用于复杂场景。

核心思路：GDGen的核心思路是将所有物理系统视为一个整体，并基于势能最小化原则进行建模。认为任何稳定的物理系统的势能都应该较低，通过观察物体的运动来推断其潜在的物理属性。这种方法避免了对不同类型物体进行单独建模，从而实现了通用性。

技术框架：GDGen框架主要包含以下几个模块：1) 扩展弹性动力学模型：引入方向刚度来捕捉软弹性、铰接和刚体等多种物理行为。2) 材料属性建模网络：使用专门的网络来建模扩展的材料属性，学习不同物体的材料参数。3) 神经场变形表示：采用神经场以与几何无关的方式表示物体的变形，避免了对物体几何形状的依赖。整个框架通过优化势能函数来学习物体的动力学模型。

关键创新：GDGen最重要的创新点在于其基于势能的通用建模方法。与传统的基于力的建模方法不同，GDGen直接从能量的角度出发，避免了对不同类型物体进行单独建模，从而实现了通用性。此外，引入方向刚度和神经场变形表示也提高了模型的表达能力。

关键设计：GDGen的关键设计包括：1) 方向刚度的引入，使得模型能够捕捉软弹性、铰接和刚体等多种物理行为。2) 材料属性建模网络的结构和训练方式，需要仔细设计以保证模型的学习能力和泛化能力。3) 神经场变形表示的选择和优化，需要平衡模型的表达能力和计算效率。损失函数的设计也至关重要，需要能够有效地引导模型学习到正确的动力学模型。

📊 实验亮点

实验结果表明，GDGen能够有效地统一刚体、铰接体和软体动力学建模，并在多种模拟场景中取得了良好的性能。与现有方法相比，GDGen在泛化能力和鲁棒性方面具有显著优势。具体性能数据未知，但论文强调了其在统一不同模拟范式方面的能力。

🎯 应用场景

GDGen可应用于创建逼真的交互式虚拟环境，例如游戏、虚拟现实和机器人仿真等领域。它可以用于训练机器人在复杂、动态丰富的环境中执行任务，例如操作软体物体、组装铰接结构等。此外，GDGen还可以用于物理世界的数字化建模，例如建筑结构分析、材料性能预测等。

📄 摘要（原文）

Digital twin worlds with realistic interactive dynamics presents a new opportunity to develop generalist embodied agents in scannable environments with complex physical behaviors. To this end, we present GDGen (Generalized Representation for Generalized Dynamics Generation), a framework that takes a potential energy perspective to seamlessly integrate rigid body, articulated body, and soft body dynamics into a unified, geometry-agnostic system. GDGen operates from the governing principle that the potential energy for any stable physical system should be low. This fresh perspective allows us to treat the world as one holistic entity and infer underlying physical properties from simple motion observations. We extend classic elastodynamics by introducing directional stiffness to capture a broad spectrum of physical behaviors, covering soft elastic, articulated, and rigid body systems. We propose a specialized network to model the extended material property and employ a neural field to represent deformation in a geometry-agnostic manner. Extensive experiments demonstrate that GDGen robustly unifies diverse simulation paradigms, offering a versatile foundation for creating interactive virtual environments and training robotic agents in complex, dynamically rich scenarios.