PhysConvex: Physics-Informed 3D Dynamic Convex Radiance Fields for Reconstruction and Simulation

📄 arXiv: 2602.18886v1 📥 PDF

作者: Dan Wang, Xinrui Cui, Serge Belongie, Ravi Ramamoorthi

分类: cs.CV, cs.GR

发布日期: 2026-02-21

💡 一句话要点

PhysConvex：基于物理信息的动态凸辐射场，用于三维重建与仿真

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经辐射场 动态场景重建 物理仿真 凸优化 连续介质力学

📋 核心要点

  1. 现有神经表示方法（如NeRFs和3DGS）在外观重建方面表现出色，但在捕捉复杂材料形变和动力学方面存在不足。
  2. PhysConvex提出了一种基于物理信息的动态凸辐射场，利用物理上合理的凸基元表示可变形辐射场，并结合边界驱动的动态凸表示建模形变。
  3. 实验结果表明，PhysConvex能够从视频中高保真地重建几何形状、外观和物理属性，性能优于现有方法。

📝 摘要（中文）

本文提出PhysConvex，一种基于物理信息的3D动态凸辐射场，旨在统一视觉渲染和物理仿真，从而重建和模拟具有视觉真实感和物理一致性的动态3D场景。PhysConvex使用受连续介质力学支配的、具有物理基础的凸基元来表示可变形的辐射场。论文引入了一种边界驱动的动态凸表示，通过顶点和表面动力学来建模形变，从而捕捉空间自适应的、非均匀的形变以及演化的边界。为了高效地模拟复杂的几何形状和异构材料，进一步开发了一种降阶凸仿真方法，该方法利用神经蒙皮本征模态作为形状和材料感知的形变基，并在牛顿动力学下使用时变的降阶自由度来平流动态凸场。凸动力学还提供了紧凑、无间隙的体积覆盖，从而提高了几何效率和仿真保真度。实验结果表明，PhysConvex能够从视频中高保真地重建几何形状、外观和物理属性，优于现有方法。

🔬 方法详解

问题定义：现有神经辐射场（NeRF）和3D高斯溅射（3DGS）等方法在静态场景重建方面取得了显著进展，但在动态场景的重建和仿真方面仍然面临挑战。这些方法难以捕捉复杂材料的形变和动力学，无法保证重建结果的物理一致性。因此，如何同时实现视觉真实感和物理一致性的动态3D场景重建与仿真是一个亟待解决的问题。

核心思路：PhysConvex的核心思路是将物理信息融入到神经辐射场的表示中。具体来说，它使用物理上合理的凸基元来表示可变形的辐射场，并利用连续介质力学来约束这些凸基元的运动和形变。通过这种方式，PhysConvex能够同时捕捉场景的视觉外观和物理属性，从而实现更逼真和物理一致的动态场景重建与仿真。

技术框架：PhysConvex的整体框架包括以下几个主要模块：1) 动态凸表示：使用边界驱动的动态凸表示来建模形变，捕捉空间自适应、非均匀的形变以及演化的边界。2) 降阶凸仿真：开发一种降阶凸仿真方法，利用神经蒙皮本征模态作为形变基，并在牛顿动力学下使用时变的降阶自由度来平流动态凸场。3) 渲染模块：使用传统的神经渲染技术，将动态凸表示渲染成图像。

关键创新：PhysConvex的关键创新在于将物理信息融入到神经辐射场的表示中，并提出了一种新的动态凸表示方法。这种表示方法能够同时捕捉场景的视觉外观和物理属性，从而实现更逼真和物理一致的动态场景重建与仿真。此外，论文还提出了一种降阶凸仿真方法，能够高效地模拟复杂几何形状和异构材料的动力学行为。

关键设计：在动态凸表示方面，论文使用顶点和表面动力学来建模形变，并引入了边界驱动机制来控制凸基元的运动。在降阶凸仿真方面，论文使用神经蒙皮本征模态作为形变基，并通过优化时变的降阶自由度来模拟动力学行为。损失函数方面，论文使用了包括渲染损失、物理损失和正则化损失在内的多种损失函数，以保证重建结果的视觉质量和物理一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PhysConvex在动态场景重建和仿真方面取得了显著的性能提升。与现有方法相比，PhysConvex能够更准确地重建几何形状、外观和物理属性，并能够生成更逼真和物理一致的动画效果。具体性能数据在论文中有详细展示，表明PhysConvex在各项指标上均优于对比基线。

🎯 应用场景

PhysConvex在虚拟现实、增强现实、游戏开发、机器人仿真等领域具有广泛的应用前景。它可以用于创建更逼真和交互性更强的虚拟环境，也可以用于训练机器人在复杂物理环境中的运动技能。此外，PhysConvex还可以用于科学研究，例如模拟材料的形变和断裂过程。

📄 摘要（原文）

Reconstructing and simulating dynamic 3D scenes with both visual realism and physical consistency remains a fundamental challenge. Existing neural representations, such as NeRFs and 3DGS, excel in appearance reconstruction but struggle to capture complex material deformation and dynamics. We propose PhysConvex, a Physics-informed 3D Dynamic Convex Radiance Field that unifies visual rendering and physical simulation. PhysConvex represents deformable radiance fields using physically grounded convex primitives governed by continuum mechanics. We introduce a boundary-driven dynamic convex representation that models deformation through vertex and surface dynamics, capturing spatially adaptive, non-uniform deformation, and evolving boundaries. To efficiently simulate complex geometries and heterogeneous materials, we further develop a reduced-order convex simulation that advects dynamic convex fields using neural skinning eigenmodes as shape- and material-aware deformation bases with time-varying reduced DOFs under Newtonian dynamics. Convex dynamics also offers compact, gap-free volumetric coverage, enhancing both geometric efficiency and simulation fidelity. Experiments demonstrate that PhysConvex achieves high-fidelity reconstruction of geometry, appearance, and physical properties from videos, outperforming existing methods.