Segment Any Motion with Radar: Robust Multimodal Moving-Object Segmentation and Tracking

📄 arXiv: 2609.08346v1 📥 PDF

作者: Jue Wang, Xuan Wang, Hao Zhou, Ruixiang Zhou, Yixuan Zhou, Tianshuo Yuan, Jieming Ma, Jie Zhang, Fei Luo

分类: cs.CV, cs.AI

发布日期: 2026-09-08

备注: 9 pages, 5figures

💡 一句话要点

提出RGBTR-Motion基准与SAM-Radar框架以解决多模态运动目标分割与跟踪问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 运动目标分割 雷达感知 跟踪算法 智能监控

📋 核心要点

  1. 现有的运动目标感知方法在复杂环境下（如低光照和遮挡）容易失效，无法有效识别和跟踪目标。
  2. 本文提出RGBTR-Motion基准，结合RGB、热成像和雷达数据，开发了SAM-Radar框架，增强了运动目标的分割与跟踪能力。
  3. 实验表明，SAM-Radar在IoU和F1-50等指标上取得了显著提升，MOTA、HOTA和IDF1分别提高了0.2977、0.1603和0.2857。

📝 摘要（中文）

移动目标感知需要识别真实运动的图像区域，并在时间上保持每个实例的识别。现有方法在光照不足、恶劣天气、反射和遮挡等情况下表现不佳。雷达直接测量径向速度，成为一种自然的解决方案。本文提出RGBTR-Motion基准，结合RGB、热成像和雷达流，提供密集实例掩码和时间一致的身份信息。同时，开发了基于SAM 3的SAM-Radar框架，融合RGB、热成像和雷达特征，利用运动监督来增强检测器的性能。实验结果显示，SAM-Radar在多个指标上显著优于现有方法。

🔬 方法详解

问题定义：本文旨在解决在复杂环境中运动目标的分割与跟踪问题。现有方法依赖于外观、光流或估计轨迹，容易受到光照、天气和遮挡的影响，导致性能下降。

核心思路：提出RGBTR-Motion基准，结合RGB、热成像和雷达数据，利用雷达直接测量径向速度的优势，开发SAM-Radar框架，通过融合多模态特征来提高检测和跟踪的鲁棒性。

技术框架：SAM-Radar框架包括雷达感知检测器和跟踪器。检测器融合经过校准的RGB、热成像和雷达特征，并通过运动监督来优化目标检测。跟踪器则将接受的雷达返回与个体轨迹关联，以维持目标身份。

关键创新：最重要的创新在于引入雷达数据作为物理证据，帮助检测器在视觉信息不足时仍能保持对目标的识别和跟踪。这种设计使得系统能够在短时间的低可见性或遮挡情况下，重新连接目标身份。

关键设计：SAM-Radar采用了基于SAM 3的网络结构，结合了运动监督的损失函数，优化了检测器对杂波的拒绝能力。关键参数设置包括雷达返回的投影位置与图像特征的融合策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SAM-Radar在IoU指标上达到了0.7027，F1-50指标为0.8090，相较于最强竞争对手，MOTA、HOTA和IDF1分别提升了0.2977、0.1603和0.2857，展示了其在多模态运动目标分割与跟踪中的显著优势。

🎯 应用场景

该研究具有广泛的应用潜力，尤其在智能监控、自动驾驶和无人机等领域。通过提高在复杂环境下的目标识别和跟踪能力，能够显著提升安全性和效率，推动相关技术的实际应用和发展。

📄 摘要（原文）

Moving-object perception must decide which image regions correspond to real motion and keep every instance identified over time. Methods that read motion from appearance, optical flow, or estimated trajectories lose that evidence under poor illumination, adverse weather, reflections, and occlusion. Radar is a natural remedy because it measures radial velocity directly instead of inferring it from photometric correspondence. However, existing benchmarks do not jointly provide radar measurements, dense moving-instance masks, and temporally consistent identities for surveillance. We therefore introduce RGBTR-Motion, a synchronized and calibrated fixed-camera benchmark that pairs RGB, thermal, and radar streams with dense instance masks and temporally consistent identities across diverse surveillance scenes. We also develop SAM-Radar, an RGB, thermal, and radar-based segmentation and tracking framework built on SAM 3. SAM-Radar's radar-aware detector fuses calibrated RGBT features with radar returns that are grounded at their projected image locations, and motion supervision, implemented as foreground classification of those projected returns, teaches the detector to reject clutter without any text prompt. The tracker associates accepted radar returns with individual trajectories and uses them as physical evidence that a visually degraded target remains present. This allows it to bridge short periods of low visibility or occlusion and reconnect a reappearing target to its existing identity instead of starting a new track. SAM-Radar attains 0.7027 IoU and 0.8090 F1-50, and raises MOTA, HOTA, and IDF1 by 0.2977, 0.1603, and 0.2857 over the strongest competing values.