VoMP: Predicting Volumetric Mechanical Property Fields

📄 arXiv: 2510.22975v1 📥 PDF

作者: Rishit Dagli, Donglai Xiang, Vismay Modi, Charles Loop, Clement Fuji Tsang, Anka He Chen, Anita Hu, Gavriel State, David I. W. Levin, Maria Shugrina

分类: cs.CV, cs.GR, cs.LG

发布日期: 2025-10-27

备注: hi-res paper and other details at: https://research.nvidia.com/labs/sil/projects/vomp

💡 一句话要点

VoMP：预测三维物体体积机械属性场，加速物理仿真。

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 体积属性预测 物理仿真 几何深度学习 多视角学习 材料流形

📋 核心要点

  1. 现有物理仿真依赖手工设计的空间变化机械属性，耗时且易出错，限制了仿真效率和真实性。
  2. VoMP通过训练前馈网络，从多视角特征预测每个体素的材料潜在编码，保证了材料的物理合理性。
  3. 该方法结合3D数据集、材料数据库和视觉-语言模型构建训练数据，实验表明其精度和速度均优于现有技术。

📝 摘要（中文）

物理仿真依赖于空间变化的机械属性，这些属性通常需要耗费大量精力手工制作。VoMP是一种前馈方法，经过训练可以预测三维物体体积内的杨氏模量（E）、泊松比（ν）和密度（ρ），适用于任何可以渲染和体素化的表示形式。VoMP聚合每个体素的多视角特征，并将它们传递给训练好的Geometry Transformer，以预测每个体素的材料潜在编码。这些潜在编码位于物理上合理的材料流形上，我们从真实世界的数据集中学习该流形，从而保证了解码的每个体素材料的有效性。为了获得对象级别的训练数据，我们提出了一个注释流程，结合了来自分割的3D数据集、材料数据库和视觉-语言模型的知识，以及一个新的基准。实验表明，VoMP估计的体积属性是准确的，在准确性和速度方面都远远优于现有技术。

🔬 方法详解

问题定义：论文旨在解决物理仿真中手动设置物体体积内机械属性（杨氏模量、泊松比、密度）耗时且不准确的问题。现有方法依赖人工设计或简单的启发式规则，难以捕捉复杂物体的真实材料分布，导致仿真结果不准确。

核心思路：论文的核心思路是学习一个从物体几何形状到体积机械属性的映射。通过训练一个神经网络，利用多视角信息预测每个体素的材料属性，并将预测结果约束在一个物理上合理的材料流形上，从而保证预测结果的有效性。

技术框架：VoMP的整体框架包括以下几个主要阶段：1) 多视角特征提取：从物体的多个视角渲染图像，并提取每个体素的多视角特征。2) Geometry Transformer：使用Geometry Transformer网络将多视角特征聚合，并预测每个体素的材料潜在编码。3) 材料流形学习：从真实世界的数据集中学习一个物理上合理的材料流形。4) 材料解码：将材料潜在编码解码为具体的材料属性（杨氏模量、泊松比、密度）。

关键创新：VoMP的关键创新在于：1) 使用Geometry Transformer网络聚合多视角特征，从而更好地捕捉物体的三维几何信息。2) 学习一个物理上合理的材料流形，并将预测结果约束在该流形上，从而保证预测结果的有效性。3) 提出了一个自动化的数据生成流程，结合了3D数据集、材料数据库和视觉-语言模型，从而可以高效地生成大量的训练数据。

关键设计：Geometry Transformer的具体结构未知，但可以推测其使用了Transformer架构来处理多视角特征。材料流形的学习方法未知，可能使用了自编码器或生成对抗网络等技术。损失函数的设计也未知，但可以推测其包含了预测误差和材料流形约束两部分。

📊 实验亮点

实验结果表明，VoMP在预测体积机械属性方面显著优于现有技术。具体性能数据未知，但摘要中提到VoMP在准确性和速度方面都远远超过了现有技术。论文还提出了一个新的基准数据集，为该领域的研究提供了新的评估标准。

🎯 应用场景

VoMP可应用于各种物理仿真领域，例如游戏开发、机器人仿真、工程设计等。通过自动预测物体的体积机械属性，可以大大减少人工设计的工作量，提高仿真效率和真实性。该技术还有潜力用于材料科学领域，例如材料反演和材料设计。

📄 摘要（原文）

Physical simulation relies on spatially-varying mechanical properties, often laboriously hand-crafted. VoMP is a feed-forward method trained to predict Young's modulus ($E$), Poisson's ratio ($ν$), and density ($ρ$) throughout the volume of 3D objects, in any representation that can be rendered and voxelized. VoMP aggregates per-voxel multi-view features and passes them to our trained Geometry Transformer to predict per-voxel material latent codes. These latents reside on a manifold of physically plausible materials, which we learn from a real-world dataset, guaranteeing the validity of decoded per-voxel materials. To obtain object-level training data, we propose an annotation pipeline combining knowledge from segmented 3D datasets, material databases, and a vision-language model, along with a new benchmark. Experiments show that VoMP estimates accurate volumetric properties, far outperforming prior art in accuracy and speed.