Real-Time Radar Semantic and Panoptic Scene Understanding

📄 arXiv: 2610.26816v1 📥 PDF

作者: Santosh Parit, Julia Hindel, Rohit Mohan, Georgi Pramatarov, Paul Newman, Daniele De Martini, Abhinav Valada

分类: cs.CV

发布日期: 2026-10-19

💡 一句话要点

提出StreamRPS以解决实时FMCW雷达场景理解问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: FMCW雷达 场景理解 自动驾驶 全景分割 实时处理 深度学习 Transformer

📋 核心要点

  1. 现有的相机和激光雷达在恶劣天气和低光照条件下表现不佳，导致实时场景理解面临挑战。
  2. 本文提出StreamRPS框架，通过自动标签生成和实时流式网络实现FMCW雷达的语义和全景分割。
  3. 在SAX和BOREAS数据集上的实验结果显示，我们的方法在性能上超越了最强基线，处理速度达到400 FPS以上。

📝 摘要（中文）

在变化的环境条件下，稳健的场景理解对安全的自动驾驶至关重要。尽管相机和激光雷达在恶劣天气和光照不足时性能下降，频率调制连续波（FMCW）旋转雷达在较远距离提供可靠的360°感知。本文提出了StreamRPS，一个用于流式FMCW雷达全景分割的新框架，包含通过激光雷达场景补全的自动标签生成管道和用于语义及全景分割的实时流式网络。我们的编码-解码流式架构包括一个雷达特定的分层Transformer编码器和用于语义或全景预测的任务特定解码器。实验结果表明，我们的方法在多个数据集上超越了现有基线，处理速度超过400 FPS。

🔬 方法详解

问题定义：本文旨在解决实时FMCW雷达场景理解中的复杂信号返回、有限的时间分辨率和稀缺的标注数据集等问题。现有方法在这些方面存在显著不足，影响了自动驾驶的安全性和可靠性。

核心思路：论文提出的StreamRPS框架通过结合自动标签生成和流式网络，旨在实现高效的雷达场景理解。该设计考虑了雷达信号的特性，采用了分层Transformer架构以提高处理能力。

技术框架：整体架构包括一个雷达特定的分层Transformer编码器和两个任务特定的解码器，分别用于语义和全景预测。编码器设计了一个捕捉距离依赖特征的stem，使用各向异性补丁嵌入以保持角度分辨率，并引入轴向极坐标注意力以分别建模方位和范围轴。

关键创新：最重要的创新在于引入了自动标签生成管道和流式网络架构，特别是针对雷达信号的特定设计，使得系统能够在复杂环境中实现实时处理。

关键设计：在网络设计中，采用了距离依赖的特征提取、各向异性补丁嵌入和轴向极坐标注意力等技术细节。此外，训练过程中引入了方位滚转旋转增强，以模拟自我车辆的旋转。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，StreamRPS在SAX和BOREAS数据集上超越了最强基线至少1.4个百分点，并在4个扇区的流式设置中以超过400 FPS的速度处理数据，展示了其高效性和准确性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提高雷达在复杂环境下的场景理解能力，能够显著提升自动驾驶系统的安全性和可靠性，推动智能交通技术的发展。

📄 摘要（原文）

Robust scene understanding under varying environmental conditions is essential for safe autonomous driving. While cameras and LiDAR degrade in adverse weather and poor lighting, Frequency-Modulated Continuous-Wave (FMCW) spinning radar provides dependable 360° perception at extended ranges with minimal compute cost. However, real-time FMCW radar scene understanding is challenging due to complex signal returns, limited temporal resolution, and scarce annotated datasets. We introduce StreamRPS, a novel framework for streaming FMCW radar panoptic segmentation, comprising an automated label-generation pipeline via LiDAR scene completion and a real-time streaming network for semantic and panoptic segmentation. Our encoder-decoder streaming architecture comprises a radar-specific hierarchical Transformer encoder and task-specific decoders for semantic or panoptic prediction. Our encoder introduces a stem to capture range-dependent signatures, anisotropic patch embeddings to preserve angular resolution, and axial polar attention to separately model the periodic azimuth and bounded range axes. We further introduce azimuth roll rotation augmentation to simulate ego-vehicle rotation during training. Comprehensive experiments on the SAX and BOREAS datasets validate both our auto-labeling methodology and streaming segmentation network against established baselines. We outperform the strongest baseline by at least 1.4pp while processing sectors at over 400 FPS in a 4-sector streaming setting. We additionally provide manual annotations for 100 SAX radar scans, enabling independent evaluation of the entire framework.