4D-ROLLS: 4D Radar Occupancy Learning via LiDAR Supervision

📄 arXiv: 2505.13905v1 📥 PDF

作者: Ruihan Liu, Xiaoyi Wu, Xijun Chen, Liang Hu, Yunjiang Lou

分类: cs.CV, cs.RO

发布日期: 2025-05-20

🔗 代码/项目: GITHUB

💡 一句话要点

提出4D-ROLLS，利用激光雷达监督学习4D雷达的Occupancy预测，提升恶劣环境感知能力。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 4D雷达 Occupancy估计 弱监督学习 激光雷达监督 恶劣环境感知

📋 核心要点

  1. 现有Occupancy估计方法依赖激光雷达或相机，在烟雾、雨、雪和雾等恶劣环境中表现不佳。
  2. 4D-ROLLS利用激光雷达点云作为监督信号，通过生成伪激光雷达标签进行弱监督学习，提升雷达Occupancy估计精度。
  3. 实验表明，4D-ROLLS在恶劣环境中具有鲁棒性，可有效进行跨数据集训练，并能迁移到BEV分割和点云Occupancy预测等下游任务。

📝 摘要（中文）

本文提出4D-ROLLS，一种针对4D雷达的弱监督Occupancy估计方法，使用激光雷达点云作为监督信号。该方法首先生成伪激光雷达标签，包括Occupancy查询和激光雷达高度图，作为多阶段监督来训练4D雷达Occupancy估计模型。然后，该模型与激光雷达生成的Occupancy地图对齐，微调其Occupancy估计精度。大量对比实验验证了4D-ROLLS的卓越性能。定性地展示了其在恶劣环境中的鲁棒性和跨数据集训练的有效性。该模型可以无缝地转移到下游任务BEV分割和点云Occupancy预测，突出了其更广泛的应用潜力。轻量级网络使4D-ROLLS模型能够在4060 GPU上实现约30 Hz的快速推理速度。代码将在https://github.com/CLASS-Lab/4D-ROLLS上提供。

🔬 方法详解

问题定义：现有自动驾驶车辆的Occupancy估计方法主要依赖激光雷达和相机，但在恶劣天气条件下，这些传感器的性能会显著下降，导致感知能力不足。因此，如何在恶劣环境下实现可靠的Occupancy估计是一个关键问题。

核心思路：本文的核心思路是利用4D雷达在恶劣环境下的鲁棒性，并借助激光雷达点云作为监督信号，通过弱监督学习的方式训练4D雷达的Occupancy估计模型。这样可以在保证恶劣环境感知能力的同时，利用激光雷达提供的信息来提升模型的精度。

技术框架：4D-ROLLS的整体框架包含以下几个主要阶段：1) 伪标签生成：利用激光雷达点云生成伪激光雷达标签，包括Occupancy查询和激光雷达高度图。2) 多阶段监督训练：使用生成的伪标签作为多阶段监督信号，训练4D雷达Occupancy估计模型。3) Occupancy地图对齐：将模型输出的Occupancy估计结果与激光雷达生成的Occupancy地图对齐，进行微调，进一步提升精度。

关键创新：该方法最重要的创新点在于提出了一种利用激光雷达点云作为监督信号，对4D雷达Occupancy估计模型进行弱监督训练的方法。与直接使用激光雷达进行Occupancy估计的方法不同，4D-ROLLS充分利用了雷达在恶劣环境下的优势，并通过激光雷达的监督来提升雷达Occupancy估计的精度。

关键设计：在伪标签生成阶段，需要设计合适的算法将激光雷达点云转换为Occupancy查询和高度图。在模型训练阶段，需要选择合适的损失函数来衡量模型输出与伪标签之间的差异，并进行优化。此外，网络结构的设计也需要考虑计算效率，以便实现快速推理。具体参数设置、损失函数和网络结构等细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了4D-ROLLS的卓越性能，但具体的性能数据、对比基线和提升幅度等信息在摘要中未明确给出。定性地展示了其在恶劣环境中的鲁棒性和跨数据集训练的有效性。该模型可以无缝地转移到下游任务BEV分割和点云Occupancy预测，并在4060 GPU上实现约30 Hz的快速推理速度。

🎯 应用场景

4D-ROLLS在自动驾驶领域具有广泛的应用前景，尤其是在矿区、港口、雨雪天气频发地区等恶劣环境下。该方法可以提高自动驾驶车辆在这些环境下的感知能力，从而提升安全性。此外，该方法还可以应用于机器人、智能安防等领域，为这些应用提供更可靠的环境感知能力。

📄 摘要（原文）

A comprehensive understanding of 3D scenes is essential for autonomous vehicles (AVs), and among various perception tasks, occupancy estimation plays a central role by providing a general representation of drivable and occupied space. However, most existing occupancy estimation methods rely on LiDAR or cameras, which perform poorly in degraded environments such as smoke, rain, snow, and fog. In this paper, we propose 4D-ROLLS, the first weakly supervised occupancy estimation method for 4D radar using the LiDAR point cloud as the supervisory signal. Specifically, we introduce a method for generating pseudo-LiDAR labels, including occupancy queries and LiDAR height maps, as multi-stage supervision to train the 4D radar occupancy estimation model. Then the model is aligned with the occupancy map produced by LiDAR, fine-tuning its accuracy in occupancy estimation. Extensive comparative experiments validate the exceptional performance of 4D-ROLLS. Its robustness in degraded environments and effectiveness in cross-dataset training are qualitatively demonstrated. The model is also seamlessly transferred to downstream tasks BEV segmentation and point cloud occupancy prediction, highlighting its potential for broader applications. The lightweight network enables 4D-ROLLS model to achieve fast inference speeds at about 30 Hz on a 4060 GPU. The code of 4D-ROLLS will be made available at https://github.com/CLASS-Lab/4D-ROLLS.