Revisiting Radar Perception With Spectral Point Clouds
作者: Hamza Alsharif, Jing Gu, Pavol Jancura, Satish Ravindran, Gijs Dubbelman
分类: cs.CV
发布日期: 2026-04-09
备注: CVPR 2026 Workshop (PBVS 2026). Project page: https://www.tue-mps.org/Spectral-Point-Clouds-Radar/
💡 一句话要点
提出光谱点云，提升雷达感知模型在不同传感器间的泛化能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 雷达感知 点云 距离-多普勒谱 谱信息增强 传感器泛化
📋 核心要点
- 现有雷达感知模型依赖不同输入，如距离-多普勒谱和稀疏点云，谱信息因传感器差异大，模型迁移困难。
- 论文提出光谱点云范式，将点云视为雷达谱的稀疏压缩表示，通过谱信息增强提高模型泛化能力。
- 实验表明，适当密度和谱信息增强的光谱点云性能可媲美甚至超越密集距离-多普勒谱基准。
📝 摘要（中文）
现有的雷达感知模型训练依赖于不同的输入，从距离-多普勒谱到稀疏点云。通常认为密集谱优于稀疏点云，但不同传感器和配置下的谱差异很大，阻碍了模型迁移。本文提出将谱信息融入雷达点云的替代方案，证明点云性能不一定逊于谱。我们引入光谱点云范式，将点云视为雷达谱的稀疏压缩表示，并论证了富含谱信息的点云是统一输入表示的有力候选，能更有效地应对传感器差异。我们开发了一个实验框架，比较不同密度的光谱点云模型与密集距离-多普勒基准，并报告了点云配置达到基准性能的密度水平。此外，我们实验了两种基本的谱信息增强方法，将额外的目标相关信息注入点云。与普遍认为的密集距离-多普勒方法更优的观点相反，我们表明点云可以达到相同的性能，并且在应用增强时可以超越距离-多普勒基准。因此，光谱点云可以作为统一雷达感知的有力候选，为未来的雷达基础模型铺平道路。
🔬 方法详解
问题定义：现有雷达感知模型面临的主要问题是，不同雷达传感器和配置产生的距离-多普勒谱差异较大，导致模型在不同传感器间的泛化能力不足。虽然密集谱通常被认为优于稀疏点云，但这种差异使得基于密集谱训练的模型难以直接迁移到其他传感器上。因此，需要一种更具鲁棒性的输入表示，能够有效应对传感器差异，实现统一的雷达感知。
核心思路：论文的核心思路是将雷达点云视为雷达谱的稀疏、压缩表示，并通过向点云中注入谱信息来增强其表达能力。这种方法旨在利用点云的稀疏性和计算效率，同时保留谱信息中的关键目标特征，从而在性能和泛化能力之间取得平衡。通过将谱信息融入点云，可以减少对特定传感器配置的依赖，提高模型在不同传感器上的适应性。
技术框架：论文提出的技术框架主要包括以下几个阶段：1) 雷达数据采集：获取原始的雷达距离-多普勒谱数据。2) 点云生成：从距离-多普勒谱中提取点云，并控制点云的密度。3) 谱信息增强：通过两种基本方法将谱信息注入点云，例如，将目标相关的谱特征作为点云的附加属性。4) 模型训练与评估：使用不同密度的光谱点云和距离-多普勒谱作为输入，训练雷达感知模型，并在统一的实验框架下进行性能评估。5) 性能对比分析：比较不同配置的光谱点云模型与距离-多普勒谱基准的性能，确定达到基准性能所需的点云密度和谱信息增强程度。
关键创新：论文的关键创新在于提出了光谱点云范式，并证明了通过谱信息增强，点云可以达到甚至超越密集距离-多普勒谱的性能。与传统方法不同，该方法不再将点云视为独立的输入，而是将其视为雷达谱的压缩表示，并通过谱信息增强来提高其表达能力。这种方法为雷达感知提供了一种更具鲁棒性和泛化能力的输入表示，有望促进雷达基础模型的发展。
关键设计：论文实验了两种基本的谱信息增强方法，具体细节未知。此外，论文通过控制点云的密度来研究点云密度对性能的影响。实验框架的关键在于统一的评估标准和数据集，以便公平地比较不同输入表示和模型的性能。损失函数和网络结构的选择可能根据具体的雷达感知任务而有所不同，但论文重点关注的是输入表示的影响。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在适当的密度和谱信息增强下，光谱点云的性能可以与密集距离-多普勒谱基准相媲美，甚至超越基准。这颠覆了传统观念，证明了点云在雷达感知中具有巨大的潜力。具体的性能数据和提升幅度在摘要中有所提及，但未给出具体数值。
🎯 应用场景
该研究成果可广泛应用于自动驾驶、机器人导航、智能交通等领域。通过提高雷达感知模型在不同传感器间的泛化能力，可以降低部署成本，提升系统的鲁棒性和可靠性。光谱点云有望成为未来雷达基础模型的关键组成部分，推动雷达感知技术的发展。
📄 摘要（原文）
Radar perception models are trained with different inputs, from range-Doppler spectra to sparse point clouds. Dense spectra are assumed to outperform sparse point clouds, yet they can vary considerably across sensors and configurations, which hinders transfer. In this paper, we provide alternatives for incorporating spectral information into radar point clouds and show that, point clouds need not underperform compared to spectra. We introduce the spectral point cloud paradigm, where point clouds are treated as sparse, compressed representations of the radar spectra, and argue that, when enriched with spectral information, they serve as strong candidates for a unified input representation that is more robust against sensor-specific differences. We develop an experimental framework that compares spectral point cloud (PC) models at varying densities against a dense range-Doppler (RD) benchmark, and report the density levels where the PC configurations meet the performance of the RD benchmark. Furthermore, we experiment with two basic spectral enrichment approaches, that inject additional target-relevant information into the point clouds. Contrary to the common belief that the dense RD approach is superior, we show that point clouds can do just as well, and can surpass the RD benchmark when enrichment is applied. Spectral point clouds can therefore serve as strong candidates for unified radar perception, paving the way for future radar foundation models.