PhysForge: Material-Controllable 3D Reconstruction with Separable Components

📄 arXiv: 2610.13681v1 📥 PDF

作者: Yuchen Wang, Yanqi Bao, Zheng Gu, Zhengqing Chen, Jieqi Shi, Jing Huo

分类: cs.CV

发布日期: 2026-10-09

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出PhysForge以解决物理属性控制不足的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 物理3D生成 材料控制 视频扩散模型 物理属性拟合 组件级建模 复杂交互 虚拟现实 动画制作

📋 核心要点

  1. 现有方法在材料行为控制上存在局限，难以准确估计物理属性，尤其是在复杂交互场景中。
  2. 本文提出PhysForge框架，通过两个模块实现材料可控的物理拟合和组件级交互建模，提升物理属性的控制能力。
  3. 实验结果显示，PhysForge在常见和不常见材料上均取得了最佳的CLIP和物理可控性评分，显著优于现有方法。

📝 摘要（中文）

近年来，物理3D生成的进展使得可视化资产具备可模拟的机械行为。然而，现有方法在材料行为控制方面存在局限，难以从复杂的物体交互和语义部分中估计物理属性。为此，本文提出了PhysForge，一个基于视频扩散模型的框架，旨在解决这些挑战。该框架包含两个互补模块：PhysFit和PhysComp，前者通过材料条件的动态模型进行物理属性拟合，后者则将复杂交互分解为独立的对象和语义组件。实验结果表明，PhysForge在材料依赖的物理响应控制上表现优越，并支持复杂交互的组件级物理建模。

🔬 方法详解

问题定义：本文旨在解决现有物理3D生成方法在材料行为控制和物理属性估计方面的不足，尤其是在复杂对象交互的场景中，现有方法难以有效捕捉物理属性与视觉表现之间的关系。

核心思路：PhysForge框架的核心思路是通过引入材料条件的动态模型和组件级交互建模，增强对物理属性的控制能力。通过将复杂交互分解为独立的组件，能够更灵活地优化物理参数。

技术框架：PhysForge框架主要由两个模块组成：PhysFit和PhysComp。PhysFit利用材料条件的VDM动态作为物理属性拟合的参考，PhysComp则负责将复杂交互分解为单独的对象和语义组件，支持独立优化。

关键创新：最重要的创新在于引入了窗口拟合和幻觉强迫技术，前者聚焦于揭示材料交互的关键部分，后者则帮助分离VDM产生的非物理运动与材料响应，从而提高了物理拟合的准确性。

关键设计：在设计上，PhysFit模块采用了材料条件的动态模型，结合窗口拟合技术和损失函数的优化，确保了对物理属性的精准拟合。PhysComp模块则通过组件分解和独立优化策略，实现了对复杂交互的有效建模。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PhysForge在物理可控性和CLIP评分上均优于现有方法，尤其是在处理常见和不常见材料时，表现出显著的提升，具体提升幅度未明确给出，但定性比较和用户研究均支持这些改进。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实和动画制作等，能够为这些领域提供更真实的物理模拟效果。通过精确控制材料属性，开发者可以创建更具沉浸感的交互体验，未来可能推动物理模拟技术的广泛应用。

📄 摘要（原文）

Recent advances in physical 3D generation have enabled visually faithful assets with simulatable mechanical behavior. However, existing methods provide limited control over material behavior beyond appearance-based inference and struggle to estimate physical properties from complex interactions between objects and semantic parts. Therefore, we present PhysForge, a Video Diffusion Model (VDM)-based framework for addressing these challenges, comprising two complementary modules for material-controllable physical fitting and componentlevel interaction modeling. The first, PhysFit, leverages material-conditioned VDM dynamics as references for physical-property fitting, introducing windowed fitting to focus on material-revealing interactions and Hallucinated Forcing to disentangle nonphysical motion hallucinated by the VDM from material responses. The second, PhysComp decomposes complex interactions into individual objects and semantic components, enabling their physical parameters to be optimized independently and flexibly composed for joint simulation. Experiments on PhysAssets and Google Scanned Objects demonstrate that, compared with existing methods, PhysForge provides stronger control over material-dependent physical responses while supporting component-level physical modeling for complex interactions. It achieves the best CLIP and physical controllability scores on both common and uncommon materials, with qualitative comparisons, component-level ablations, and a user study further supporting these improvements. Our project page is available at https://masterwanna.github.io/PhysForge.html .