PhysLDM: Latent Diffusion for High-Fidelity Deformable Simulation

📄 arXiv: 2610.07609v1 📥 PDF

作者: Yu Zhang, Xudong Xu, Xingang Pan

分类: cs.CV, cs.GR

发布日期: 2026-10-06

💡 一句话要点

提出PhysLDM以解决高保真可变形体模拟问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion) 支柱八：物理动画 (Physics-based Animation)

关键词: 可变形体模拟 潜在扩散 时空变分自编码器 神经模拟 物理一致性

📋 核心要点

  1. 现有的自回归方法在长时间预测中容易出现误差积累，而直接多帧预测计算开销巨大，导致高保真可变形体模拟面临挑战。
  2. 本文提出PhysLDM，一个统一的潜在扩散范式，利用整体时空变分自编码器来实现高效的体积可变形模拟。
  3. 实验结果表明，PhysLDM在米级场景中实现了约2.48毫米的重建精度，并且在未见数据集上具有良好的零-shot泛化能力。

📝 摘要（中文）

高保真可变形体的神经模拟是计算机图形学和物理人工智能中的基础挑战。长时间预测高分辨率3D体积网格困难，现有自回归方法易受误差积累影响，而直接在原始分辨率下进行多帧预测则计算开销巨大。为此，本文提出了PhysLDM，一个统一的潜在扩散范式，用于一次性体积可变形模拟。其核心是一个整体时空变分自编码器，避免了标准时间压缩的“阶梯”伪影，在米级场景中实现约2.48毫米的重建精度，压缩比高达78倍。基于此可靠的潜在空间，系统比较了回归和扩散方法，发现扩散更适合建模复杂的可变形动态。PhysLDM在Objaverse规模的数据集上进行训练，能够零-shot泛化到未见的OOD数据集，提供了一种可扩展且稳健的神经模拟方法。

🔬 方法详解

问题定义：本文旨在解决高保真可变形体的神经模拟问题。现有方法在长时间预测中容易出现误差积累，而直接在原始分辨率下进行多帧预测则计算开销巨大。

核心思路：PhysLDM通过引入一个整体时空变分自编码器，构建紧凑的时空潜在表示，避免了标准时间压缩中的“阶梯”伪影，从而实现高效的体积可变形模拟。

技术框架：PhysLDM的整体架构包括时空变分自编码器和潜在扩散模型。时空变分自编码器用于生成可靠的潜在表示，而潜在扩散模型则用于从混沌数据中学习并生成物理上合理的轨迹。

关键创新：PhysLDM是首个高保真时空自编码器和潜在扩散范式，能够有效处理复杂的可变形动态，克服了传统回归方法在混沌动态下产生非物理平均值的问题。

关键设计：在模型设计中，采用了高达78倍的压缩比，损失函数通过优化重建精度和物理一致性进行设计，网络结构结合了时空信息以增强模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PhysLDM在米级场景中实现了约2.48毫米的重建精度，压缩比高达78倍。与传统方法相比，PhysLDM在复杂可变形动态的建模上表现出色，能够有效生成物理上合理的轨迹，且在未见数据集上实现了零-shot泛化。

🎯 应用场景

PhysLDM的研究成果在计算机图形学、虚拟现实、游戏开发等领域具有广泛的应用潜力。其高效的可变形体模拟能力可以用于创建更真实的物理交互效果，提升用户体验。此外，该方法在逆问题解决和高阶设计优化中也具有重要价值，能够推动相关领域的进一步发展。

📄 摘要（原文）

Neural simulation of high-fidelity deformable bodies is a foundational challenge in computer graphics and physical AI. Long-horizon prediction for high-resolution 3D volumetric meshes is hard: autoregressive methods are susceptible to error accumulation, while direct multi-frame prediction at native resolution is computationally prohibitive. This motivates a compact spatiotemporal latent representation, which is largely unexplored for mesh-based volumetric physics. Meanwhile, it remains unclear whether deterministic regression or generative diffusion is the more appropriate predictive paradigm. To address these coupled challenges, we introduce PhysLDM, a unified latent-diffusion paradigm for one-shot volumetric deformable simulation. Its core is a holistic spatiotemporal VAE that avoids the "staircase" artifacts of standard temporal compression (as in common video VAEs), achieving ~2.48 mm reconstruction precision on meter-scale scenes at up to 78x token compression. Based on this reliable latent space, we systematically compare regression and diffusion methods. Our experiments uncover a key modeling insight: complex deformable dynamics are often chaotic, and in this regime deterministic regression tends to produce non-physical averages, whereas diffusion better models their distribution. Accordingly, we employ a latent diffusion model that effectively learns from the chaotic data to generate physically plausible trajectories. Trained purely kinematically on an Objaverse-scale dataset, a single PhysLDM generalizes zero-shot to unseen OOD datasets (GSO and Toys4K). Its differentiability further enables efficient solution of inverse problems and higher-order design optimization. To our knowledge, PhysLDM is the first high-fidelity spatiotemporal autoencoder and latent-diffusion paradigm for volumetric deformable dynamics, offering a scalable and robust approach to neural simulation.