WeatherGen: A Unified Diverse Weather Generator for LiDAR Point Clouds via Spider Mamba Diffusion
作者: Yang Wu, Yun Zhu, Kaihua Zhang, Jianjun Qian, Jin Xie, Jian Yang
分类: cs.CV
发布日期: 2025-04-18
🔗 代码/项目: GITHUB
💡 一句话要点
WeatherGen：提出基于 Spider Mamba Diffusion 的统一多样天气 LiDAR 点云生成框架
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: LiDAR点云 恶劣天气 数据生成 扩散模型 Mamba 对比学习 自动驾驶
📋 核心要点
- 现有LiDAR模拟器只能模拟单一恶劣天气，且数据保真度有限，无法满足三维场景感知对多样恶劣天气数据的需求。
- WeatherGen 采用扩散-去噪范式，利用 Spider Mamba 生成器逐步恢复受干扰的数据，并设计潜在特征对齐器和对比学习控制器。
- 实验表明 WeatherGen 能够生成高质量的多样天气 LiDAR 数据，并构建了 mini-weather 数据集，提升了下游任务在恶劣天气下的性能。
📝 摘要（中文）
三维场景感知需要大量的恶劣天气 LiDAR 数据，但 LiDAR 数据采集成本高昂。为此，研究者们提出了一系列 LiDAR 模拟器。然而，它们只能用单一物理模型模拟单一恶劣天气，且生成数据的保真度有限。本文提出了 WeatherGen，这是第一个统一的多样天气 LiDAR 数据扩散生成框架，显著提高了保真度。具体来说，我们首先设计了一个基于地图的数据生成器，可以为训练提供大量高质量的多样天气数据。然后，我们利用扩散-去噪范式构建扩散模型。其中，我们提出了一个 Spider Mamba 生成器来逐步恢复受干扰的多样天气数据。Spider Mamba 通过扫描 LiDAR 光束圆或中心光线来建模特征交互，出色地保持了 LiDAR 数据的物理结构。随后，为了让生成器迁移真实世界的知识，我们设计了一个潜在特征对齐器。之后，我们设计了一个基于对比学习的控制器，通过语言监督为天气控制信号配备紧凑的语义知识，引导扩散模型生成更具区分性的数据。大量评估表明 WeatherGen 具有很高的生成质量。通过 WeatherGen，我们构建了 mini-weather 数据集，提高了下游任务在恶劣天气条件下的性能。
🔬 方法详解
问题定义：论文旨在解决恶劣天气下 LiDAR 数据匮乏的问题，现有 LiDAR 模拟器无法生成足够真实和多样化的数据，限制了三维场景感知算法在恶劣天气下的应用。现有方法通常基于单一物理模型模拟单一天气，无法模拟真实世界中复杂多变的天气状况，且生成数据的真实感不足。
核心思路：论文的核心思路是利用扩散模型强大的生成能力，通过学习大量多样天气 LiDAR 数据，生成逼真的恶劣天气数据。通过引入 Spider Mamba 结构，更好地建模 LiDAR 数据的物理结构，并利用对比学习控制器，实现对生成天气的精确控制。这样可以有效提升生成数据的质量和多样性，从而提升下游任务在恶劣天气下的鲁棒性。
技术框架：WeatherGen 的整体框架包含以下几个主要模块：1) 基于地图的数据生成器：用于生成大量多样天气 LiDAR 数据，作为训练数据。2) Spider Mamba 生成器：基于扩散模型，逐步恢复受干扰的 LiDAR 数据，生成高质量的恶劣天气数据。3) 潜在特征对齐器：用于将生成器迁移真实世界的知识，提升生成数据的真实感。4) 对比学习控制器：通过语言监督，为天气控制信号配备语义知识，引导扩散模型生成特定天气的数据。
关键创新：论文的关键创新在于以下几点：1) 提出了基于 Spider Mamba 的生成器，能够更好地建模 LiDAR 数据的物理结构，生成更真实的恶劣天气数据。2) 设计了潜在特征对齐器，用于将生成器迁移真实世界的知识，提升生成数据的真实感。3) 引入了对比学习控制器，实现了对生成天气的精确控制。与现有方法相比，WeatherGen 能够生成更高质量、更多样化的恶劣天气 LiDAR 数据。
关键设计：Spider Mamba 生成器通过扫描 LiDAR 光束圆或中心光线来建模特征交互，保持 LiDAR 数据的物理结构。对比学习控制器使用语言监督，将天气控制信号与语义知识对齐，引导扩散模型生成特定天气的数据。损失函数包括扩散模型的标准损失函数和对比学习的损失函数。具体参数设置未知。
🖼️ 关键图片
📊 实验亮点
论文通过大量实验验证了 WeatherGen 的生成质量。实验结果表明，WeatherGen 生成的 LiDAR 数据在视觉上与真实数据高度相似，并且能够有效提升下游任务在恶劣天气下的性能。通过 WeatherGen 构建的 mini-weather 数据集，能够显著提升目标检测、语义分割等任务在恶劣天气下的准确率和鲁棒性。具体性能提升数据未知。
🎯 应用场景
WeatherGen 可应用于自动驾驶、机器人导航、智能交通等领域，尤其是在恶劣天气条件下的场景感知。通过生成大量高质量的恶劣天气 LiDAR 数据，可以提升相关算法在雨、雪、雾等天气下的鲁棒性和可靠性，降低实际测试成本，加速相关技术的发展和应用。未来，该技术有望扩展到其他传感器和天气类型，进一步提升恶劣天气下的感知能力。
📄 摘要（原文）
3D scene perception demands a large amount of adverse-weather LiDAR data, yet the cost of LiDAR data collection presents a significant scaling-up challenge. To this end, a series of LiDAR simulators have been proposed. Yet, they can only simulate a single adverse weather with a single physical model, and the fidelity of the generated data is quite limited. This paper presents WeatherGen, the first unified diverse-weather LiDAR data diffusion generation framework, significantly improving fidelity. Specifically, we first design a map-based data producer, which can provide a vast amount of high-quality diverse-weather data for training purposes. Then, we utilize the diffusion-denoising paradigm to construct a diffusion model. Among them, we propose a spider mamba generator to restore the disturbed diverse weather data gradually. The spider mamba models the feature interactions by scanning the LiDAR beam circle or central ray, excellently maintaining the physical structure of the LiDAR data. Subsequently, following the generator to transfer real-world knowledge, we design a latent feature aligner. Afterward, we devise a contrastive learning-based controller, which equips weather control signals with compact semantic knowledge through language supervision, guiding the diffusion model to generate more discriminative data. Extensive evaluations demonstrate the high generation quality of WeatherGen. Through WeatherGen, we construct the mini-weather dataset, promoting the performance of the downstream task under adverse weather conditions. Code is available: https://github.com/wuyang98/weathergen