Enhanced Spatiotemporal Consistency for Image-to-LiDAR Data Pretraining

📄 arXiv: 2503.19912v2 📥 PDF

作者: Xiang Xu, Lingdong Kong, Hui Shuai, Wenwei Zhang, Liang Pan, Kai Chen, Ziwei Liu, Qingshan Liu

分类: cs.CV, cs.LG, cs.RO

发布日期: 2025-03-25 (更新: 2025-12-08)

备注: IEEE Transactions on Pattern Analysis and Machine Intelligence

DOI: 10.1109/TPAMI.2025.3640589

🔗 代码/项目: GITHUB

💡 一句话要点

SuperFlow++：增强时空一致性的图像-LiDAR数据预训练框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LiDAR表征学习 时空一致性 自动驾驶 对比学习 点云处理

📋 核心要点

  1. 现有LiDAR表征学习方法主要关注空间对齐，忽略了驾驶场景中捕捉运动和场景连续性的时间动态。
  2. SuperFlow++通过整合时空线索，利用视图一致性对齐、稠密-稀疏一致性正则化、光流对比学习和时间投票策略来解决上述问题。
  3. 在11个LiDAR数据集上的实验表明，SuperFlow++优于现有方法，并揭示了可扩展3D基础模型的涌现属性。

📝 摘要（中文）

本文提出SuperFlow++，一个新颖的框架，它利用连续的LiDAR-相机对，在预训练和下游任务中整合时空线索，以解决现有LiDAR表征学习方法忽略时间动态的问题。SuperFlow++包含四个关键组件：(1) 视图一致性对齐模块，用于统一跨相机视角的语义信息；(2) 稠密-稀疏一致性正则化机制，用于增强不同点云密度下的特征鲁棒性；(3) 基于光流的对比学习方法，用于建模时间关系以改进场景理解；(4) 时间投票策略，用于在LiDAR扫描中传播语义信息以提高预测一致性。在11个异构LiDAR数据集上的大量评估表明，SuperFlow++在各种任务和驾驶条件下优于最先进的方法。此外，通过在预训练期间缩放2D和3D骨干网络，我们发现了涌现属性，为开发可扩展的3D基础模型提供了更深入的见解。凭借强大的泛化能力和计算效率，SuperFlow++为自动驾驶中数据高效的基于LiDAR的感知建立了一个新的基准。代码已公开。

🔬 方法详解

问题定义：现有LiDAR表征学习方法主要关注LiDAR和相机传感器之间的空间对齐，忽略了自动驾驶场景中至关重要的时间动态信息，例如车辆和行人的运动，以及场景的连续性。这种忽略导致模型难以理解复杂的时空关系，从而限制了其在下游任务中的性能。现有方法缺乏对不同点云密度下特征鲁棒性的考虑，也限制了模型的泛化能力。

核心思路：SuperFlow++的核心思路是通过显式地建模连续LiDAR-相机数据中的时空关系来增强LiDAR表征学习。它利用光流来捕捉场景中的运动信息，并采用对比学习来学习时间一致的特征表示。此外，通过视图一致性对齐和稠密-稀疏一致性正则化，SuperFlow++旨在提高模型在不同视角和点云密度下的鲁棒性。这样设计的目的是使模型能够更好地理解动态场景，并提高其在各种下游任务中的性能。

技术框架：SuperFlow++的整体框架包括四个主要模块：(1) 视图一致性对齐模块：用于统一不同相机视角的语义信息，确保不同视角的特征表示具有一致性。(2) 稠密-稀疏一致性正则化机制：用于增强模型在不同点云密度下的特征鲁棒性，提高模型的泛化能力。(3) 基于光流的对比学习方法：用于建模连续LiDAR扫描之间的时间关系，学习时间一致的特征表示，从而提高场景理解能力。(4) 时间投票策略：用于在连续的LiDAR扫描中传播语义信息，提高预测结果的一致性。这些模块协同工作，共同提升LiDAR表征学习的性能。

关键创新：SuperFlow++最重要的技术创新点在于其对时空信息的显式建模。与现有方法主要关注空间对齐不同，SuperFlow++通过光流对比学习和时间投票策略，有效地捕捉了场景中的时间动态信息。此外，稠密-稀疏一致性正则化机制也是一个重要的创新，它提高了模型在不同点云密度下的鲁棒性。这些创新使得SuperFlow++能够更好地理解复杂的动态场景，并在各种下游任务中取得更好的性能。

关键设计：在视图一致性对齐模块中，使用了可变形卷积网络来对齐不同视角的特征。在稠密-稀疏一致性正则化中，使用了KL散度来衡量稠密和稀疏点云特征之间的差异。在光流对比学习中，使用了InfoNCE损失函数来学习时间一致的特征表示。时间投票策略采用加权平均的方式，根据置信度对不同时间步的预测结果进行加权。此外，在预训练期间，通过缩放2D和3D骨干网络，探索了可扩展3D基础模型的潜力。

📊 实验亮点

SuperFlow++在11个异构LiDAR数据集上进行了广泛的评估，结果表明其在各种任务和驾驶条件下均优于最先进的方法。例如，在nuScenes数据集上的目标检测任务中，SuperFlow++的平均精度（mAP）比现有方法提高了显著的百分比。此外，通过缩放2D和3D骨干网络，该研究还发现了可扩展3D基础模型的涌现属性，为未来的研究提供了新的方向。

🎯 应用场景

SuperFlow++在自动驾驶领域具有广泛的应用前景，可用于提高车辆对周围环境的感知能力，例如目标检测、语义分割和运动预测。该研究成果还有助于开发更安全、更可靠的自动驾驶系统，并可推广到其他需要LiDAR感知的领域，如机器人导航、三维重建和智能交通。

📄 摘要（原文）

LiDAR representation learning has emerged as a promising approach to reducing reliance on costly and labor-intensive human annotations. While existing methods primarily focus on spatial alignment between LiDAR and camera sensors, they often overlook the temporal dynamics critical for capturing motion and scene continuity in driving scenarios. To address this limitation, we propose SuperFlow++, a novel framework that integrates spatiotemporal cues in both pretraining and downstream tasks using consecutive LiDAR-camera pairs. SuperFlow++ introduces four key components: (1) a view consistency alignment module to unify semantic information across camera views, (2) a dense-to-sparse consistency regularization mechanism to enhance feature robustness across varying point cloud densities, (3) a flow-based contrastive learning approach that models temporal relationships for improved scene understanding, and (4) a temporal voting strategy that propagates semantic information across LiDAR scans to improve prediction consistency. Extensive evaluations on 11 heterogeneous LiDAR datasets demonstrate that SuperFlow++ outperforms state-of-the-art methods across diverse tasks and driving conditions. Furthermore, by scaling both 2D and 3D backbones during pretraining, we uncover emergent properties that provide deeper insights into developing scalable 3D foundation models. With strong generalizability and computational efficiency, SuperFlow++ establishes a new benchmark for data-efficient LiDAR-based perception in autonomous driving. The code is publicly available at https://github.com/Xiangxu-0103/SuperFlow