PhysMorph-GS: Differentiable Shape Morphing via Joint Optimization of Physics and Rendering Objectives
作者: Chang-Yong Song, David Hyde
分类: cs.GR
发布日期: 2025-11-21
备注: 14pages, 12figures
💡 一句话要点
PhysMorph-GS：通过物理和渲染目标联合优化实现可微形变
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 物理形变 可微渲染 材料点方法 高斯溅射 逆向设计
📋 核心要点
- 现有基于物理的形变方法难以将图像损失直接用于物理优化，因为表面提取是不可微的，导致“渲染鸿沟”。
- PhysMorph-GS通过可微的材料点方法（MPM）和3D高斯溅射的耦合，利用形变感知的上采样桥梁连接稀疏粒子和密集高斯分布。
- 实验表明，PhysMorph-GS在形变序列上提高了边界保真度和时间稳定性，并能更好地重建薄结构，深度监督变体降低了Chamfer距离。
📝 摘要（中文）
基于物理的形变方法能够自然地支持大形变和拓扑变化，但现有方法存在“渲染鸿沟”：不可微的表面提取阻碍了图像损失直接指导物理优化。我们提出了PhysMorph-GS，它通过一个形变感知的上采样桥梁将可微的材料点方法（MPM）与3D高斯溅射耦合，该桥梁将稀疏粒子状态(x, F)映射到密集高斯分布(mu, Sigma)。轮廓和深度的多模态渲染损失沿两条路径反向传播，一条是从协方差到基于拉伸的映射中的形变梯度，另一条是从高斯均值到粒子位置。通过MPM伴随，这些梯度更新形变控制，同时质量在紧凑的锚粒子集中得到保持。一种多通道交错优化方案重复地将渲染梯度注入到连续的物理步骤中，避免坍缩到纯粹的物理驱动解。在具有挑战性的形变序列上，PhysMorph-GS改进了边界保真度和时间稳定性，并更好地重建了耳朵和尾巴等薄结构。定量地，我们深度监督的变体相对于纯物理基线将Chamfer距离降低了约2.5%。通过提供可微的粒子到高斯桥梁，PhysMorph-GS弥合了物理感知渲染管道中的一个关键差距，并实现了直接从图像空间监督进行逆向设计。
🔬 方法详解
问题定义：现有基于物理的形变方法虽然能处理大形变和拓扑变化，但由于表面提取过程不可微，无法直接利用图像信息（如轮廓、深度）来指导物理模拟过程，导致渲染结果与期望目标存在差距，即“渲染鸿沟”。这限制了其在需要精确控制形变结果的应用中的潜力。
核心思路：PhysMorph-GS的核心在于建立一个可微的桥梁，连接基于粒子的物理模拟（MPM）和基于高斯溅射的渲染。通过将稀疏的粒子状态（位置和形变梯度）映射到密集的3D高斯分布，使得渲染过程可微，从而可以将图像损失反向传播到物理模拟中，实现物理和渲染目标的联合优化。
技术框架：PhysMorph-GS包含以下主要模块：1) 可微材料点方法（MPM）：用于模拟物体的物理形变。2) 形变感知上采样桥梁：将MPM的稀疏粒子状态映射到3D高斯分布的参数（均值和协方差）。3) 3D高斯溅射：用于可微地渲染物体。4) 多模态渲染损失：包括轮廓损失和深度损失，用于衡量渲染结果与目标图像的差异。5) MPM伴随：用于计算渲染损失对物理模拟参数的梯度。6) 多通道交错优化：将渲染梯度注入到连续的物理步骤中，避免模型退化为纯物理驱动的解。
关键创新：PhysMorph-GS的关键创新在于其可微的粒子到高斯桥梁。该桥梁通过形变感知的上采样，将稀疏的粒子信息转化为密集的3D高斯分布，从而实现了可微的渲染。这使得图像损失可以直接反向传播到物理模拟中，实现了物理和渲染目标的联合优化。与现有方法相比，PhysMorph-GS避免了不可微的表面提取步骤，从而消除了“渲染鸿沟”。
关键设计：该方法使用基于拉伸的映射来计算高斯分布的协方差，使其能够反映物体的局部形变。采用多通道交错优化方案，避免模型退化为纯物理驱动的解。损失函数包括轮廓损失和深度损失，用于约束渲染结果的形状和深度。使用MPM伴随方法来计算渲染损失对物理模拟参数的梯度，从而实现高效的优化。
🖼️ 关键图片
📊 实验亮点
实验结果表明，PhysMorph-GS在具有挑战性的形变序列上，能够提高边界保真度和时间稳定性，并更好地重建耳朵和尾巴等薄结构。深度监督的变体相对于纯物理基线，将Chamfer距离降低了约2.5%。这些结果表明，PhysMorph-GS能够有效地利用图像信息来指导物理模拟，从而实现更精确的形变控制。
🎯 应用场景
PhysMorph-GS在动画制作、游戏开发、机器人控制等领域具有广泛的应用前景。它可以用于创建逼真的物理形变效果，并允许用户通过图像或视频来指导形变过程。例如，可以用于模拟动物的行走、奔跑等动作，或者用于设计具有特定形状和功能的机器人。
📄 摘要（原文）
Shape morphing with physics-based simulation naturally supports large deformations and topology changes, but existing methods suffer from a "rendering gap": nondifferentiable surface extraction prevents image losses from directly guiding physics optimization. We introduce PhysMorph-GS, which couples a differentiable material point method (MPM) with 3D Gaussian splatting through a deformation-aware upsampling bridge that maps sparse particle states (x, F) to dense Gaussians (mu, Sigma). Multi-modal rendering losses on silhouette and depth backpropagate along two paths, from covariances to deformation gradients via a stretch-based mapping and from Gaussian means to particle positions. Through the MPM adjoint, these gradients update deformation controls while mass is conserved at a compact set of anchor particles. A multi-pass interleaved optimization scheme repeatedly injects rendering gradients into successive physics steps, avoiding collapse to purely physics-driven solutions. On challenging morphing sequences, PhysMorph-GS improves boundary fidelity and temporal stability over a differentiable MPM baseline and better reconstructs thin structures such as ears and tails. Quantitatively, our depth-supervised variant reduces Chamfer distance by about 2.5 percent relative to the physics-only baseline. By providing a differentiable particle-to-Gaussian bridge, PhysMorph-GS closes a key gap in physics-aware rendering pipelines and enables inverse design directly from image-space supervision.