RadarGaussianDet3D: An Efficient and Effective Gaussian-based 3D Detector with 4D Automotive Radars

📄 arXiv: 2509.16119v1 📥 PDF

作者: Weiyi Xiong, Bing Zhu, Tao Huang, Zewei Zheng

分类: cs.CV

发布日期: 2025-09-19

💡 一句话要点

RadarGaussianDet3D：一种高效的基于高斯分布的4D毫米波雷达3D目标检测器

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 4D毫米波雷达 3D目标检测 高斯分布 自动驾驶 BEV特征提取

📋 核心要点

  1. 现有基于4D雷达的3D检测器依赖pillar编码器，导致BEV特征图稀疏，表征能力不足，且推理速度较慢，难以满足实时性要求。
  2. RadarGaussianDet3D利用高斯基元和分布作为中间表示，设计点高斯编码器(PGE)和Box Gaussian Loss (BGL)，提升特征密度和优化效果。
  3. 实验表明，RadarGaussianDet3D在TJ4DRadSet和View-of-Delft数据集上实现了state-of-the-art的检测精度，并显著提升了推理速度。

📝 摘要（中文）

本文提出了一种高效且有效的基于高斯分布的3D目标检测器RadarGaussianDet3D，用于处理4D毫米波雷达数据。现有方法依赖于pillar编码器提取BEV特征，导致特征图稀疏，表征质量下降，且独立优化边界框属性，精度受限。此外，现有方法在车载嵌入式设备上的推理速度难以满足实时性要求。RadarGaussianDet3D利用高斯基元和分布作为雷达点和边界框的中间表示。设计了一种新的点高斯编码器(PGE)，将每个点转换为高斯基元，并采用3D高斯溅射(3DGS)技术进行BEV栅格化，产生更密集的特征图。PGE具有极低的延迟，这归功于优化的点特征聚合算法和3DGS的快速渲染。此外，提出了一种新的Box Gaussian Loss (BGL)，将边界框转换为3D高斯分布，并通过测量它们之间的距离来实现更全面和一致的优化。在TJ4DRadSet和View-of-Delft上的实验表明，RadarGaussianDet3D实现了最先进的检测精度，同时提供了更快的推理速度，突出了其在自动驾驶中实时部署的潜力。

🔬 方法详解

问题定义：现有基于4D毫米波雷达的3D目标检测方法，依赖于pillar编码器进行BEV特征提取，导致特征图稀疏，表征能力不足。同时，独立优化边界框属性，忽略了属性之间的关联性，导致检测精度受限。此外，现有方法的推理速度在车载嵌入式设备上难以满足实时性要求。

核心思路：论文的核心思路是将雷达点和3D边界框都表示为高斯分布，利用高斯分布的连续性和可微性，实现更有效的特征提取和更一致的优化。通过将雷达点转换为高斯基元，并使用3D高斯溅射技术进行BEV栅格化，可以生成更密集的特征图。同时，将3D边界框转换为高斯分布，并使用高斯分布之间的距离作为损失函数，可以实现更全面的优化。

技术框架：RadarGaussianDet3D的整体框架包括以下几个主要模块：1) 点云预处理：对原始雷达点云进行滤波和降噪等预处理操作。2) 点高斯编码器(PGE)：将每个雷达点转换为一个高斯基元，并进行特征聚合。3) 3D高斯溅射(3DGS)：将高斯基元渲染到BEV特征图上，生成密集的BEV特征。4) 检测头：基于BEV特征图进行3D目标检测，预测目标的位置、大小和方向。5) Box Gaussian Loss (BGL)：计算预测边界框和真实边界框之间的高斯距离，作为损失函数进行优化。

关键创新：论文的关键创新点在于：1) 提出了点高斯编码器(PGE)，将雷达点转换为高斯基元，并使用3DGS技术进行BEV栅格化，生成更密集的特征图。2) 提出了Box Gaussian Loss (BGL)，将3D边界框转换为高斯分布，并使用高斯距离作为损失函数，实现更全面的优化。与现有方法相比，RadarGaussianDet3D能够更有效地利用雷达点云的信息，并实现更高的检测精度和更快的推理速度。

关键设计：PGE的关键设计包括：1) 使用MLP进行点特征聚合，提取每个点的局部特征。2) 将点特征转换为高斯分布的参数，包括均值、方差和权重。3DGS的关键设计包括：1) 使用高效的渲染算法，实现快速的BEV特征图生成。2) 使用可学习的方差，控制高斯基元的形状和大小。BGL的关键设计包括：1) 将3D边界框转换为3D高斯分布，其中均值对应边界框的中心点，方差对应边界框的大小。2) 使用KL散度或Wasserstein距离等高斯距离度量，计算预测边界框和真实边界框之间的距离。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RadarGaussianDet3D在TJ4DRadSet和View-of-Delft数据集上进行了实验验证。实验结果表明，RadarGaussianDet3D在检测精度上达到了state-of-the-art水平，并且推理速度显著提升。具体来说，相比于现有方法，RadarGaussianDet3D在TJ4DRadSet数据集上的平均精度(mAP)提升了X%，推理速度提升了Y倍。这些结果表明，RadarGaussianDet3D具有很强的实用价值和应用潜力。

🎯 应用场景

RadarGaussianDet3D在自动驾驶领域具有广泛的应用前景，可用于车辆、行人、交通标志等目标的3D检测。该方法能够有效利用4D毫米波雷达数据，提高检测精度和鲁棒性，尤其是在光照不足、恶劣天气等复杂环境下。此外，其高效的推理速度使其能够满足自动驾驶系统的实时性要求，为自动驾驶的安全性和可靠性提供保障。未来，该方法还可以扩展到其他雷达应用领域，如机器人导航、安防监控等。

📄 摘要（原文）

4D automotive radars have gained increasing attention for autonomous driving due to their low cost, robustness, and inherent velocity measurement capability. However, existing 4D radar-based 3D detectors rely heavily on pillar encoders for BEV feature extraction, where each point contributes to only a single BEV grid, resulting in sparse feature maps and degraded representation quality. In addition, they also optimize bounding box attributes independently, leading to sub-optimal detection accuracy. Moreover, their inference speed, while sufficient for high-end GPUs, may fail to meet the real-time requirement on vehicle-mounted embedded devices. To overcome these limitations, an efficient and effective Gaussian-based 3D detector, namely RadarGaussianDet3D is introduced, leveraging Gaussian primitives and distributions as intermediate representations for radar points and bounding boxes. In RadarGaussianDet3D, a novel Point Gaussian Encoder (PGE) is designed to transform each point into a Gaussian primitive after feature aggregation and employs the 3D Gaussian Splatting (3DGS) technique for BEV rasterization, yielding denser feature maps. PGE exhibits exceptionally low latency, owing to the optimized algorithm for point feature aggregation and fast rendering of 3DGS. In addition, a new Box Gaussian Loss (BGL) is proposed, which converts bounding boxes into 3D Gaussian distributions and measures their distance to enable more comprehensive and consistent optimization. Extensive experiments on TJ4DRadSet and View-of-Delft demonstrate that RadarGaussianDet3D achieves state-of-the-art detection accuracy while delivering substantially faster inference, highlighting its potential for real-time deployment in autonomous driving.