Shoot-Bounce-3D: Single-Shot Occlusion-Aware 3D from Lidar by Decomposing Two-Bounce Light

📄 arXiv: 2512.06080v1 📥 PDF

作者: Tzofi Klinghoffer, Siddharth Somasundaram, Xiaoyu Xiang, Yuchen Fan, Christian Richardt, Akshat Dave, Ramesh Raskar, Rakesh Ranjan

分类: cs.CV

发布日期: 2025-12-05

备注: SIGGRAPH Asia 2025. Project page: https://shoot-bounce-3d.github.io

💡 一句话要点

Shoot-Bounce-3D：利用单光子激光雷达和双次反射光实现遮挡感知的三维重建

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 单光子激光雷达 三维重建 遮挡感知 双次反射光 光传输反演 数据驱动 深度学习

📋 核心要点

  1. 现有单光子激光雷达在复杂光照条件下三维重建面临遮挡和镜面反射等挑战，难以准确恢复场景几何信息。
  2. 提出Shoot-Bounce-3D方法，通过分析双次反射光，结合数据驱动的光传输反演，实现遮挡感知的三维重建。
  3. 构建大规模模拟数据集，学习光传输先验，实验证明该方法能有效处理遮挡和镜面反射，恢复场景几何。

📝 摘要（中文）

本文提出了一种利用单光子激光雷达进行三维场景重建的方法，尤其是在存在遮挡区域和镜面反射材料的情况下。该方法利用激光雷达发射并直接反射回传感器的光来估计深度，同时利用场景中多次反射的光（双次反射光）来恢复密集的深度信息、遮挡的几何形状和材料属性。与以往单点顺序照明的方法不同，本文关注更具挑战性的多点同时照明场景。由于多路复用照明、双次反射光、阴影和镜面反射的复杂光传输难以进行解析反演，因此提出了一种数据驱动的方法来反演单光子激光雷达中的光传输。为此，创建了首个大规模室内场景模拟数据集（约10万个激光雷达瞬态响应）。利用该数据集学习复杂光传输的先验知识，从而将测量的双次反射光分解为来自每个激光点的贡献。实验结果表明，分解后的光可用于推断具有遮挡和镜面的场景中的三维几何形状。

🔬 方法详解

问题定义：论文旨在解决单光子激光雷达在复杂场景下三维重建的问题，特别是存在遮挡和镜面反射时，传统方法难以有效利用多次反射光进行深度估计，导致重建质量下降。现有方法通常依赖单点顺序扫描，效率较低，且难以处理多点同时照明带来的复杂光传输问题。

核心思路：论文的核心思路是利用双次反射光中蕴含的场景几何信息，通过数据驱动的方式学习复杂光传输模型，将测量的双次反射光分解为各个激光点的贡献，从而推断被遮挡区域和镜面反射区域的三维几何信息。这种方法避免了对复杂光传输过程进行解析建模的困难。

技术框架：该方法主要包含以下几个阶段：1) 构建大规模室内场景模拟数据集，包含各种遮挡和镜面反射情况下的激光雷达瞬态响应；2) 利用该数据集训练深度学习模型，学习复杂光传输的先验知识；3) 将测量的双次反射光输入训练好的模型，分解为各个激光点的贡献；4) 利用分解后的光信息，推断场景的三维几何信息。

关键创新：该方法最重要的创新点在于提出了数据驱动的光传输反演方法，能够有效处理多点同时照明、双次反射光、阴影和镜面反射等复杂光照条件下的三维重建问题。与传统方法相比，该方法无需进行复杂的解析建模，而是通过学习数据中的模式来反演光传输过程。

关键设计：论文构建了包含约10万个激光雷达瞬态响应的大规模模拟数据集。模型结构未知，损失函数未知，但关键在于利用该数据集学习光传输的先验知识，从而实现双次反射光的分解和三维几何信息的推断。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文构建了首个大规模室内场景模拟数据集，包含约10万个激光雷达瞬态响应，为数据驱动的光传输反演提供了数据基础。实验结果表明，该方法能够有效处理遮挡和镜面反射，恢复场景的三维几何信息。具体的性能数据和对比基线未知，但论文强调了该方法在复杂光照条件下的优势。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、三维场景重建、安防监控等领域。通过利用多次反射光，可以提高激光雷达在复杂环境下的感知能力，例如在存在遮挡或镜面反射的情况下，能够更准确地获取场景的三维信息，从而提高系统的鲁棒性和可靠性。未来，该技术有望应用于室内环境的建模和理解，以及在恶劣天气条件下的自动驾驶。

📄 摘要（原文）

3D scene reconstruction from a single measurement is challenging, especially in the presence of occluded regions and specular materials, such as mirrors. We address these challenges by leveraging single-photon lidars. These lidars estimate depth from light that is emitted into the scene and reflected directly back to the sensor. However, they can also measure light that bounces multiple times in the scene before reaching the sensor. This multi-bounce light contains additional information that can be used to recover dense depth, occluded geometry, and material properties. Prior work with single-photon lidar, however, has only demonstrated these use cases when a laser sequentially illuminates one scene point at a time. We instead focus on the more practical - and challenging - scenario of illuminating multiple scene points simultaneously. The complexity of light transport due to the combined effects of multiplexed illumination, two-bounce light, shadows, and specular reflections is challenging to invert analytically. Instead, we propose a data-driven method to invert light transport in single-photon lidar. To enable this approach, we create the first large-scale simulated dataset of ~100k lidar transients for indoor scenes. We use this dataset to learn a prior on complex light transport, enabling measured two-bounce light to be decomposed into the constituent contributions from each laser spot. Finally, we experimentally demonstrate how this decomposed light can be used to infer 3D geometry in scenes with occlusions and mirrors from a single measurement. Our code and dataset are released at https://shoot-bounce-3d.github.io.