Picasso: Holistic Scene Reconstruction with Physics-Constrained Sampling
作者: Xihang Yu, Rajat Talak, Lorenzo Shaikewitz, Luca Carlone
分类: cs.CV, cs.AI, cs.RO, eess.SY
发布日期: 2026-02-08
备注: 15 pages
💡 一句话要点
Picasso：基于物理约束采样的整体场景重建方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱四：生成式动作 (Generative Motion)
关键词: 场景重建 物理约束 拒绝采样 接触图 物理合理性
📋 核心要点
- 现有场景重建方法忽略了物理合理性，导致重建结果在模拟环境中出现物体穿透或不平衡等问题。
- Picasso通过引入物理约束的采样方法，对场景中的物体交互进行整体推理，保证重建结果的物理合理性。
- 实验表明，Picasso在重建精度和物理合理性方面均优于现有方法，并在新提出的Picasso数据集上取得了显著成果。
📝 摘要（中文）
在存在遮挡和测量噪声的情况下，几何上精确（即拟合传感器数据）的场景重建仍然可能在物理上不正确。例如，在估计场景中物体的姿态和形状并将结果导入模拟器时，微小的误差可能导致不合理的配置，包括物体相互穿透或不稳定的平衡。这使得使用数字孪生预测场景的动态行为变得困难，而这对于基于仿真的规划和接触丰富的行为控制至关重要。本文提出，物体姿态和形状估计需要对整个场景进行整体推理（而不是孤立地推理每个物体），考虑物体之间的交互和物理合理性。为此，我们首先提出了Picasso，一个物理约束的重建流程，通过考虑几何、非穿透和物理来构建多物体场景重建。Picasso依赖于一种快速拒绝采样方法，该方法对多物体交互进行推理，并利用推断的物体接触图来指导采样。其次，我们提出了Picasso数据集，这是一个包含10个接触丰富的真实世界场景的集合，带有ground truth标注，以及一个量化物理合理性的指标，我们将其开源作为基准测试的一部分。最后，我们在我们新引入的数据集和YCB-V数据集上对Picasso进行了广泛的评估，结果表明它在很大程度上优于现有技术，同时提供了物理上合理且更符合人类直觉的重建。
🔬 方法详解
问题定义：现有基于几何的场景重建方法，即使能够很好地拟合传感器数据，也可能产生物理上不合理的重建结果。例如，物体之间可能发生穿透，或者物体放置不稳定。这些问题使得重建的场景难以用于物理模拟和机器人控制等应用。现有方法通常孤立地处理每个物体，忽略了物体之间的交互和物理约束。
核心思路：Picasso的核心思路是进行整体的场景重建，同时考虑几何约束和物理约束。通过对整个场景进行采样，并根据物理合理性进行筛选，可以得到既符合观测数据又满足物理定律的重建结果。这种方法能够避免物体穿透和不稳定的情况，从而提高重建结果的可用性。
技术框架：Picasso重建流程主要包含以下几个阶段：1) 几何重建：利用现有的几何重建方法，例如SLAM或SfM，得到场景中物体的初始姿态和形状估计。2) 接触图推断：根据初始的几何重建结果，推断物体之间的接触关系，构建接触图。3) 物理约束采样：基于接触图，对物体的姿态和形状进行采样，并根据物理合理性进行筛选。4) 优化：对采样得到的姿态和形状进行优化，得到最终的重建结果。
关键创新：Picasso的关键创新在于物理约束的采样方法。该方法利用推断的物体接触图来指导采样过程，从而提高采样效率。同时，该方法还引入了物理合理性指标，用于评估采样结果的物理合理性。通过这种方法，Picasso能够生成既符合观测数据又满足物理定律的重建结果。
关键设计：Picasso使用快速拒绝采样方法，该方法基于接触图进行采样，并使用非穿透约束和稳定性约束作为物理合理性指标。具体来说，非穿透约束要求物体之间不能发生穿透，稳定性约束要求物体的放置是稳定的。此外，Picasso还引入了一个新的数据集Picasso，该数据集包含10个接触丰富的真实世界场景，带有ground truth标注，以及一个量化物理合理性的指标。
🖼️ 关键图片
📊 实验亮点
Picasso在Picasso数据集和YCB-V数据集上进行了评估，结果表明其在重建精度和物理合理性方面均优于现有方法。例如，在Picasso数据集上，Picasso的物理合理性指标比现有方法提高了显著的百分比。此外，用户研究表明，Picasso重建的场景更符合人类直觉。
🎯 应用场景
Picasso重建的物理合理场景可用于机器人仿真、虚拟现实和增强现实等领域。例如，在机器人仿真中，可以使用Picasso重建的场景来训练机器人的操作技能。在虚拟现实和增强现实中，可以使用Picasso重建的场景来创建更逼真的虚拟环境。此外，Picasso还可以用于数字孪生，从而实现对真实世界的精确建模和预测。
📄 摘要（原文）
In the presence of occlusions and measurement noise, geometrically accurate scene reconstructions -- which fit the sensor data -- can still be physically incorrect. For instance, when estimating the poses and shapes of objects in the scene and importing the resulting estimates into a simulator, small errors might translate to implausible configurations including object interpenetration or unstable equilibrium. This makes it difficult to predict the dynamic behavior of the scene using a digital twin, an important step in simulation-based planning and control of contact-rich behaviors. In this paper, we posit that object pose and shape estimation requires reasoning holistically over the scene (instead of reasoning about each object in isolation), accounting for object interactions and physical plausibility. Towards this goal, our first contribution is Picasso, a physics-constrained reconstruction pipeline that builds multi-object scene reconstructions by considering geometry, non-penetration, and physics. Picasso relies on a fast rejection sampling method that reasons over multi-object interactions, leveraging an inferred object contact graph to guide samples. Second, we propose the Picasso dataset, a collection of 10 contact-rich real-world scenes with ground truth annotations, as well as a metric to quantify physical plausibility, which we open-source as part of our benchmark. Finally, we provide an extensive evaluation of Picasso on our newly introduced dataset and on the YCB-V dataset, and show it largely outperforms the state of the art while providing reconstructions that are both physically plausible and more aligned with human intuition.