PhysGS: Bayesian-Inferred Gaussian Splatting for Physical Property Estimation

📄 arXiv: 2511.18570v1 📥 PDF

作者: Samarth Chopra, Jing Liang, Gershom Seneviratne, Dinesh Manocha

分类: cs.CV, cs.RO

发布日期: 2025-11-23

备注: Submitted to CVPR 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

PhysGS：基于贝叶斯推断的高斯溅射实现物理属性估计

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 物理属性估计 高斯溅射 贝叶斯推断 不确定性建模 视觉-语言先验

📋 核心要点

  1. 现有3D重建方法侧重于几何和外观，忽略了对物体物理属性（如摩擦力、硬度等）的推断，限制了机器人与环境的交互能力。
  2. PhysGS将物理属性估计建模为高斯溅射上的贝叶斯推断，利用视觉线索和视觉-语言先验迭代优化属性置信度，并建模不确定性。
  3. 实验表明，PhysGS在质量估计、肖氏硬度估计和动摩擦估计方面显著优于确定性基线，验证了其在物理属性估计方面的有效性。

📝 摘要（中文）

为了使机器人能够安全有效地与其周围环境交互，理解摩擦力、刚度、硬度以及材料成分等物理属性至关重要。然而，现有的3D重建方法主要关注几何形状和外观，无法推断这些潜在的物理属性。我们提出了PhysGS，它是3D高斯溅射的贝叶斯推断扩展，可以从视觉线索和视觉-语言先验中估计密集的、逐点的物理属性。我们将属性估计公式化为高斯溅射上的贝叶斯推断，其中材料和属性的置信度随着新观测的到来而迭代细化。PhysGS还对偶然不确定性和认知不确定性进行建模，从而实现不确定性感知的对象和场景解释。在对象尺度（ABO-500）、室内和室外真实世界数据集上，与确定性基线相比，PhysGS将质量估计的准确率提高了高达22.8%，将肖氏硬度误差降低了高达61.2%，并将动摩擦误差降低了高达18.1%。我们的结果表明，PhysGS在一个单一的、空间连续的框架中统一了3D重建、不确定性建模和物理推理，用于密集的物理属性估计。

🔬 方法详解

问题定义：现有3D重建方法主要关注几何形状和外观，无法推断物体表面的物理属性，如摩擦力、硬度、质量等。这限制了机器人与环境进行更智能、更安全的交互。现有方法缺乏对物理属性的建模能力，并且难以处理真实世界数据中的不确定性。

核心思路：PhysGS的核心思路是将物理属性估计问题转化为贝叶斯推断问题，在高斯溅射表示的基础上，利用视觉线索和视觉-语言先验来推断每个高斯点的物理属性。通过迭代更新每个高斯点的属性置信度，并显式地建模不确定性，从而实现更准确、更鲁棒的物理属性估计。这种设计允许模型在接收到新的观测数据时不断改进其对物理属性的估计。

技术框架：PhysGS的整体框架包括以下几个主要阶段：1) 使用3D高斯溅射表示场景；2) 初始化每个高斯点的物理属性（例如，质量、摩擦系数、硬度等）和不确定性；3) 利用视觉线索（例如，图像、深度图）和视觉-语言先验（例如，物体描述）来更新每个高斯点的属性置信度；4) 使用贝叶斯推断框架迭代优化属性估计，并更新不确定性；5) 输出每个高斯点的物理属性及其不确定性。

关键创新：PhysGS的关键创新在于：1) 将物理属性估计问题建模为高斯溅射上的贝叶斯推断，实现了密集的、逐点的物理属性估计；2) 显式地建模了偶然不确定性和认知不确定性，从而提高了属性估计的鲁棒性；3) 结合了视觉线索和视觉-语言先验，从而能够利用更丰富的上下文信息进行属性估计。与现有方法的本质区别在于，PhysGS不仅仅关注几何形状和外观，而是能够推断物体表面的物理属性，并量化估计的不确定性。

关键设计：PhysGS的关键设计包括：1) 使用高斯分布来表示每个高斯点的属性置信度，并使用贝叶斯公式来更新这些分布；2) 使用视觉-语言模型（例如，CLIP）来提取物体描述的语义信息，并将其作为先验知识融入到属性估计中；3) 设计了专门的损失函数来鼓励模型学习准确的物理属性，并惩罚不确定性过高的估计；4) 使用变分推断方法来近似后验分布，从而实现高效的属性估计。

📊 实验亮点

PhysGS在多个数据集上进行了评估，包括ABO-500、室内和室外真实世界数据集。实验结果表明，与确定性基线相比，PhysGS将质量估计的准确率提高了高达22.8%，将肖氏硬度误差降低了高达61.2%，并将动摩擦误差降低了高达18.1%。这些结果表明，PhysGS在物理属性估计方面具有显著的优势。

🎯 应用场景

PhysGS在机器人操作、场景理解和增强现实等领域具有广泛的应用前景。例如，机器人可以利用PhysGS来估计物体的质量和摩擦力，从而实现更精确的抓取和操作。在场景理解方面，PhysGS可以帮助理解场景中物体的物理属性，从而实现更智能的场景分析和推理。在增强现实方面，PhysGS可以用于创建更逼真的虚拟物体，并模拟它们与真实世界的交互。

📄 摘要（原文）

Understanding physical properties such as friction, stiffness, hardness, and material composition is essential for enabling robots to interact safely and effectively with their surroundings. However, existing 3D reconstruction methods focus on geometry and appearance and cannot infer these underlying physical properties. We present PhysGS, a Bayesian-inferred extension of 3D Gaussian Splatting that estimates dense, per-point physical properties from visual cues and vision--language priors. We formulate property estimation as Bayesian inference over Gaussian splats, where material and property beliefs are iteratively refined as new observations arrive. PhysGS also models aleatoric and epistemic uncertainties, enabling uncertainty-aware object and scene interpretation. Across object-scale (ABO-500), indoor, and outdoor real-world datasets, PhysGS improves accuracy of the mass estimation by up to 22.8%, reduces Shore hardness error by up to 61.2%, and lowers kinetic friction error by up to 18.1% compared to deterministic baselines. Our results demonstrate that PhysGS unifies 3D reconstruction, uncertainty modeling, and physical reasoning in a single, spatially continuous framework for dense physical property estimation. Additional results are available at https://samchopra2003.github.io/physgs.