Polarization Wavefront Lidar: Learning Large Scene Reconstruction from Polarized Wavefronts

📄 arXiv: 2406.03461v2 📥 PDF

作者: Dominik Scheuble, Chenyang Lei, Seung-Hwan Baek, Mario Bijelic, Felix Heide

分类: cs.CV, eess.IV

发布日期: 2024-06-05 (更新: 2024-06-11)

备注: Accepted at CVPR 2024; Project Website: https://light.princeton.edu/publication/pollidar

💡 一句话要点

提出偏振波前激光雷达(PolLidar)，用于远距离场景的三维重建，提升法向量和距离估计精度。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 偏振波前激光雷达 三维重建 深度学习 法向量估计 距离估计

📋 核心要点

  1. 传统激光雷达忽略了偏振信息，限制了场景重建的精度和对材料属性的感知能力。
  2. PolLidar通过调制激光的偏振态，获取时间分辨的偏振波前信息，用于估计法向量、距离和材料属性。
  3. 实验结果表明，该方法在法向量和距离重建方面显著优于传统方法，并提供了新的数据集用于训练和评估。

📝 摘要（中文）

激光雷达已成为三维视觉，特别是大型户外场景和自动驾驶的关键传感方式。传统激光雷达通过发射激光脉冲并测量反射光飞行时间(ToF)来提供厘米级的精确距离信息。然而，接收光的偏振通常未被考虑，而偏振取决于表面方向和材料属性，因此具有提升场景重建的潜力。本文介绍了一种新型远距离偏振波前激光雷达传感器(PolLidar)，它可以调制发射和接收光的偏振。与传统激光雷达不同，PolLidar允许访问原始的时间分辨偏振波前。我们利用偏振波前，通过一种新的学习重建方法，来估计户外场景中的法向量、距离和材料属性。为了训练和评估该方法，我们引入了一个模拟和真实世界的远距离数据集，其中包含配对的原始激光雷达数据、真实距离和法向量图。结果表明，与现有的Shape-from-Polarization (SfP)和ToF方法相比，该方法在法向量和距离重建方面分别提高了53%的平均角度误差和41%的平均绝对误差。

🔬 方法详解

问题定义：传统激光雷达主要依赖飞行时间(ToF)来测量距离，忽略了光线的偏振信息。而偏振信息与物体表面的法向量和材料属性密切相关。因此，如何有效利用偏振信息来提升三维重建的精度和完整性是一个关键问题。现有方法，如Shape-from-Polarization (SfP)，在远距离和复杂场景下的表现不佳，且难以与ToF信息融合。

核心思路：本文的核心思路是设计一种新型的偏振波前激光雷达(PolLidar)，能够捕获时间分辨的偏振信息。通过学习的方法，将这些偏振信息与距离信息融合，从而更准确地估计场景的几何结构（法向量和距离）和材料属性。这种方法旨在克服传统SfP方法在远距离和复杂场景下的局限性。

技术框架：PolLidar系统首先发射特定偏振态的激光脉冲，然后接收反射回来的光线，并测量其偏振态随时间的变化。这些时间分辨的偏振波前数据被输入到一个深度学习模型中。该模型由多个模块组成，用于从偏振波前中提取特征，并预测法向量、距离和材料属性。整个流程包括数据采集、数据预处理、模型训练和结果推断。

关键创新：该论文的关键创新在于：1) 提出了一种新型的偏振波前激光雷达传感器，能够捕获时间分辨的偏振信息；2) 设计了一种基于深度学习的重建方法，能够有效地利用偏振信息来提升三维重建的精度；3) 构建了一个包含模拟和真实数据的远距离数据集，用于训练和评估该方法。与现有方法相比，该方法能够更准确地估计场景的几何结构和材料属性。

关键设计：在数据采集方面，PolLidar系统需要精确控制激光的偏振态，并准确测量反射光的偏振态。在模型设计方面，需要选择合适的网络结构来提取偏振波前中的有效特征。损失函数的设计也至关重要，需要综合考虑法向量、距离和材料属性的重建误差。具体的网络结构和损失函数细节在论文中有详细描述，但此处无法完全展开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，与现有的Shape-from-Polarization (SfP)和ToF方法相比，该方法在法向量和距离重建方面分别提高了53%的平均角度误差和41%的平均绝对误差。这些显著的提升表明，偏振信息在三维重建中具有重要的作用，并且该方法能够有效地利用这些信息。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、三维地图构建、遥感等领域。通过更精确地重建场景的几何结构和材料属性，可以提高自动驾驶系统的环境感知能力，提升机器人导航的鲁棒性，并为三维地图构建提供更丰富的信息。此外，该技术还可以应用于文物保护、工业检测等领域。

📄 摘要（原文）

Lidar has become a cornerstone sensing modality for 3D vision, especially for large outdoor scenarios and autonomous driving. Conventional lidar sensors are capable of providing centimeter-accurate distance information by emitting laser pulses into a scene and measuring the time-of-flight (ToF) of the reflection. However, the polarization of the received light that depends on the surface orientation and material properties is usually not considered. As such, the polarization modality has the potential to improve scene reconstruction beyond distance measurements. In this work, we introduce a novel long-range polarization wavefront lidar sensor (PolLidar) that modulates the polarization of the emitted and received light. Departing from conventional lidar sensors, PolLidar allows access to the raw time-resolved polarimetric wavefronts. We leverage polarimetric wavefronts to estimate normals, distance, and material properties in outdoor scenarios with a novel learned reconstruction method. To train and evaluate the method, we introduce a simulated and real-world long-range dataset with paired raw lidar data, ground truth distance, and normal maps. We find that the proposed method improves normal and distance reconstruction by 53\% mean angular error and 41\% mean absolute error compared to existing shape-from-polarization (SfP) and ToF methods. Code and data are open-sourced at https://light.princeton.edu/pollidar.