SnapPhysics: A Physics-Aware Scene Graph from a Single View for Interactive Mixed Reality Scenes

📄 arXiv: 2609.19815v1 📥 PDF

作者: Suji Kang, Seok-Young Kim, Young Bin Kim, Taewook Ha, Dieter Schmalstieg, Shohei Mori, Woontack Woo

分类: cs.CV

发布日期: 2026-09-17

备注: Accepted for publication in IEEE ISMAR, 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出SnapPhysics以解决单视图物理属性估计问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 物理属性估计 混合现实 3D重建 视觉-语言模型 场景图 计算机视觉 交互体验

📋 核心要点

  1. 现有方法在物理属性估计上依赖视频分析或视觉-语言模型，计算成本高且缺乏几何基础。
  2. SnapPhysics通过结合3D重建和物理感知场景图，提供物体间关系和几何信息，支持物理属性推理。
  3. 实验结果显示，SnapPhysics在多个指标上显著优于现有学习方法，提升效果明显。

📝 摘要（中文）

我们提出了SnapPhysics，这是一个无训练框架，可以从单张图像重建3D物体并估计其物理属性，如质量、摩擦和重心。为了在混合现实中实现物理一致的交互，这些属性与几何形状同样重要。现有方法通过分析视频中的物体动态来推断这些属性，计算成本高，或通过查询视觉-语言模型（VLM）在单张图像上进行推断，缺乏几何基础和物体间关系。我们通过结合实例级3D重建和空间对齐，构建了一个物理感知场景图，编码这些关系和每个物体的度量几何，为基于VLM的属性推理提供结构化上下文。实验表明，SnapPhysics在3D-FRONT数据集上提高了场景级F-Score 18.6%，在真实场景中减少了平均绝对对数差异误差（mALDE）最多20.5%，并提高了对数尺度相关性（$r^2_{ ext{ls}}$）最多19.6%。

🔬 方法详解

问题定义：本论文旨在解决从单视图图像中重建3D物体及其物理属性（如质量、摩擦和重心）的问题。现有方法通常依赖视频分析，计算复杂且效率低下，或使用视觉-语言模型（VLM），但缺乏几何基础和物体间关系的考虑。

核心思路：SnapPhysics的核心思路是结合实例级3D重建与空间对齐，构建一个物理感知场景图。该场景图不仅编码了物体间的关系，还提供了每个物体的度量几何信息，从而为基于VLM的属性推理提供了结构化的上下文。

技术框架：SnapPhysics的整体架构包括三个主要模块：1) 实例级3D重建模块，负责从单张图像中提取物体的几何信息；2) 空间对齐模块，确保物体在空间中的正确定位；3) 物理感知场景图模块，整合物体间关系和物理属性，为后续的属性推理提供支持。

关键创新：SnapPhysics的主要创新在于其无训练的框架设计，能够在不依赖大规模数据集的情况下，直接从单张图像中推断物体的物理属性。与现有方法相比，它在计算效率和准确性上都有显著提升。

关键设计：在设计上，SnapPhysics采用了特定的损失函数来优化物体的几何重建和物理属性估计，同时使用了高效的网络结构来处理图像特征提取和场景图构建。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SnapPhysics在3D-FRONT数据集上提高了场景级F-Score 18.6%，在真实场景中减少了平均绝对对数差异误差（mALDE）最多20.5%，并提高了对数尺度相关性（$r^2_{ ext{ls}}$）最多19.6%，显示出其在物理属性估计上的显著优势。

🎯 应用场景

SnapPhysics的研究成果在混合现实（MR）应用中具有广泛的潜在价值，能够实现更加真实和互动的用户体验。通过准确的物理属性估计，用户可以在虚拟环境中与物体进行更自然的交互，提升沉浸感和互动性。未来，该技术还可以扩展到游戏、教育和训练等多个领域。

📄 摘要（原文）

We propose SnapPhysics, a training-free framework that reconstructs 3D objects and estimates their physical properties such as mass, friction, and center of gravity from a single image. For physically coherent interactions in mixed reality (MR), such properties are as important as geometry. Prior approaches infer them by analyzing object dynamics in video, which is computationally costly, or by querying vision-language models (VLMs) on single images, which lacks geometric grounding and inter-object relationships. We address these limitations by combining instance-level 3D reconstruction and spatial alignment with a physics-aware scene graph that encodes these relationships and per-object metric geometry as structured context for VLM-based property reasoning. Experiments on 3D-FRONT show that SnapPhysics improves scene-level F-Score by 18.6% over the best learning-based method, and on real captured scenes with ground-truth mass, it reduces the mean absolute log difference error (mALDE) by up to 20.5% and improves log-scale correlation ($r^2_{\mathrm{ls}}$) by up to 19.6% over VLM-only estimation. SnapPhysics enables physically interactive MR experiences without manual parameter tuning. Project page: https://snapphysics-ismar2026.github.io/.