The Devil is in the Details: Simple Remedies for Image-to-LiDAR Representation Learning

📄 arXiv: 2501.09485v1 📥 PDF

作者: Wonjun Jo, Kwon Byung-Ki, Kim Ji-Yeon, Hawook Jeong, Kyungdon Joo, Tae-Hyun Oh

分类: cs.CV

发布日期: 2025-01-16

备注: Accepted to ACCV2024

💡 一句话要点

针对图像到LiDAR表示学习，通过优化坐标系、量化和数据利用提升性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 图像到LiDAR 表示学习 自动驾驶 三维感知 坐标系优化 数据利用 量化误差

📋 核心要点

  1. 现有图像到LiDAR表示学习方法侧重于损失函数设计，忽略了坐标系、量化和数据利用等基本要素。
  2. 论文核心在于通过优化LiDAR坐标系、量化策略以及更有效地利用未同步数据，来提升模型性能。
  3. 实验结果表明，简单地修复这些被忽略的设计选择，在3D语义分割和目标检测任务上显著优于现有方法。

📝 摘要（中文）

LiDAR是自动驾驶中与相机配合使用的关键传感器。现有研究表明，利用相机-LiDAR设置和图像表示学习的最新进展，图像到LiDAR的知识蒸馏具有巨大潜力。这些研究主要集中在设计损失函数，以有效地将预训练的2D图像表示提炼到3D模型中。然而，设计的其他部分却未被充分探索。我们发现，诸如LiDAR坐标系、根据现有输入接口进行的量化以及数据利用等基本设计要素，比开发损失函数更为关键，而这些要素在先前的工作中被忽视了。在这项工作中，我们表明，对这些设计的简单修复显著优于现有方法，在nuScenes数据集上的3D语义分割性能提高了16%，在KITTI数据集上的3D目标检测性能提高了13%。我们专注于空间和时间轴上被忽视的设计选择。在空间上，先前的工作使用了柱坐标和体素大小，而没有考虑到它们与常用的稀疏卷积层输入接口产生的副作用，从而导致3D模型中的空间量化误差。在时间上，现有工作通过丢弃未同步的数据来避免繁琐的数据管理，从而限制了仅使用传感器之间时间同步的一小部分数据。我们分析了这些影响，并为每个被忽视的方面提出了简单的解决方案。

🔬 方法详解

问题定义：现有图像到LiDAR表示学习方法在将2D图像知识迁移到3D LiDAR数据时，过度关注损失函数的设计，而忽略了LiDAR数据本身的特性以及数据处理流程中的一些关键细节。例如，常用的柱坐标系和体素化方法在与稀疏卷积结合时会引入量化误差，同时，为了避免数据同步问题，很多方法直接丢弃了未同步的数据，造成了数据资源的浪费。这些被忽略的细节限制了模型性能的进一步提升。

核心思路：论文的核心思路是重新审视图像到LiDAR表示学习流程中的每一个环节，特别是那些容易被忽略的细节。通过分析这些细节对模型性能的影响，并提出相应的解决方案，从而在不增加模型复杂度的前提下，显著提升模型性能。具体来说，论文关注了空间上的坐标系和量化误差问题，以及时间上的数据利用率问题。

技术框架：论文并没有提出一个全新的网络架构，而是基于现有的图像到LiDAR表示学习框架进行改进。其主要改进集中在数据预处理和输入表示方面。具体来说，论文首先分析了柱坐标系和体素化方法在与稀疏卷积结合时产生的量化误差，并提出了相应的修正方法。其次，论文提出了一种利用未同步数据的方法，通过对未同步数据进行处理，使其能够被模型所利用，从而增加了训练数据的规模。

关键创新：论文的关键创新在于其对图像到LiDAR表示学习流程中细节的关注。与以往的研究不同，论文并没有将重点放在设计复杂的损失函数或网络结构上，而是通过优化数据预处理和输入表示，来提升模型性能。这种关注细节的思路为图像到LiDAR表示学习提供了一个新的研究方向。

关键设计：在空间坐标系方面，论文分析了柱坐标系和体素化方法带来的量化误差，并提出了相应的修正方法。在时间数据利用方面，论文提出了一种利用未同步数据的方法，具体实现细节未知。论文没有涉及具体的损失函数和网络结构设计，而是直接使用了现有的方法。

📊 实验亮点

实验结果表明，通过对LiDAR坐标系、量化和数据利用进行简单优化，该方法在nuScenes数据集上的3D语义分割性能提高了16%，在KITTI数据集上的3D目标检测性能提高了13%。这些提升是在没有增加模型复杂度的前提下实现的，充分证明了关注细节的重要性。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、机器人导航、三维场景重建等领域。通过提升图像到LiDAR表示学习的性能，可以提高自动驾驶系统对周围环境的感知能力，从而提高驾驶安全性。此外，该研究思路也适用于其他跨模态学习任务，具有重要的实际价值和潜在影响。

📄 摘要（原文）

LiDAR is a crucial sensor in autonomous driving, commonly used alongside cameras. By exploiting this camera-LiDAR setup and recent advances in image representation learning, prior studies have shown the promising potential of image-to-LiDAR distillation. These prior arts focus on the designs of their own losses to effectively distill the pre-trained 2D image representations into a 3D model. However, the other parts of the designs have been surprisingly unexplored. We find that fundamental design elements, e.g., the LiDAR coordinate system, quantization according to the existing input interface, and data utilization, are more critical than developing loss functions, which have been overlooked in prior works. In this work, we show that simple fixes to these designs notably outperform existing methods by 16% in 3D semantic segmentation on the nuScenes dataset and 13% in 3D object detection on the KITTI dataset in downstream task performance. We focus on overlooked design choices along the spatial and temporal axes. Spatially, prior work has used cylindrical coordinate and voxel sizes without considering their side effects yielded with a commonly deployed sparse convolution layer input interface, leading to spatial quantization errors in 3D models. Temporally, existing work has avoided cumbersome data curation by discarding unsynced data, limiting the use to only the small portion of data that is temporally synced across sensors. We analyze these effects and propose simple solutions for each overlooked aspect.