DRUM: Diffusion-based Raydrop-aware Unpaired Mapping for Sim2Real LiDAR Segmentation

📄 arXiv: 2603.26263v1 📥 PDF

作者: Tomoya Miyawaki, Kazuto Nakashima, Yumi Iwashita, Ryo Kurazume

分类: cs.CV, cs.RO

发布日期: 2026-03-27

备注: ICRA 2026

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DRUM，一种基于扩散模型的、感知Raydrop的Sim2Real LiDAR语义分割方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: LiDAR语义分割 Sim2Real 扩散模型 领域自适应 Raydrop噪声

📋 核心要点

  1. LiDAR语义分割依赖大量标注数据，但真实场景标注成本高。使用合成数据训练的模型在真实场景表现差，主要原因是Sim2Real的领域差异。
  2. DRUM利用扩散模型学习真实数据的先验知识，通过控制反射强度和模拟raydrop噪声，将合成数据转换为更真实的表示。
  3. DRUM引入感知raydrop的掩码引导机制，在生成过程中保持与合成数据的相关性，同时引入真实的raydrop噪声，提升了分割性能。

📝 摘要（中文）

基于LiDAR的语义分割是自主移动机器人的关键组成部分，但大规模LiDAR点云标注成本高昂且耗时。虽然模拟器可以提供带标签的合成数据，但由于数据层面的领域差异，在合成数据上训练的模型在真实数据上的表现往往不佳。为了解决这个问题，我们提出了一种新颖的Sim2Real转换框架DRUM。我们利用在未标记的真实世界数据上预训练的扩散模型作为生成先验，并通过重现两个关键测量特征：反射强度和raydrop噪声来转换合成数据。为了提高样本的保真度，我们引入了一种感知raydrop的掩码引导机制，该机制选择性地强制与输入合成数据的一致性，同时保留由扩散先验引起的真实raydrop噪声。实验结果表明，DRUM在LiDAR数据的多种表示形式中始终如一地提高了Sim2Real性能。

🔬 方法详解

问题定义：论文旨在解决LiDAR语义分割中，由于真实数据标注成本高昂，而直接使用合成数据训练的模型在真实场景下表现不佳的问题。现有方法难以有效弥合合成数据和真实数据之间的领域差异，尤其是在反射强度和raydrop噪声这两个关键特征上。

核心思路：论文的核心思路是利用扩散模型强大的生成能力，学习真实LiDAR数据的分布，并以此为先验，将合成数据转换为更接近真实数据的形式。通过控制反射强度和模拟真实的raydrop噪声，缩小Sim2Real的差距。

技术框架：DRUM框架主要包含以下几个部分：1) 预训练的扩散模型，用于学习真实LiDAR数据的分布；2) 基于扩散模型的Sim2Real转换模块，用于将合成数据转换为更真实的表示；3) 感知raydrop的掩码引导机制，用于在生成过程中保持与合成数据的相关性，同时引入真实的raydrop噪声。整体流程是，首先将合成LiDAR数据输入到扩散模型中，然后通过掩码引导机制控制生成过程，最终得到转换后的LiDAR数据。

关键创新：DRUM的关键创新在于：1) 利用扩散模型作为生成先验，学习真实LiDAR数据的复杂分布；2) 引入感知raydrop的掩码引导机制，在生成过程中选择性地保持与合成数据的一致性，同时引入真实的raydrop噪声。这种方法能够更有效地弥合Sim2Real的领域差异，提高分割性能。

关键设计：DRUM的关键设计包括：1) 扩散模型的选择和训练，需要选择合适的扩散模型结构和训练策略，以有效地学习真实LiDAR数据的分布；2) 掩码引导机制的设计，需要设计合适的掩码生成策略，以选择性地保持与合成数据的一致性，并引入真实的raydrop噪声；3) 损失函数的设计，需要设计合适的损失函数，以优化扩散模型的生成过程，并提高转换后的LiDAR数据的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DRUM在多个LiDAR数据表示形式上均能显著提升Sim2Real的分割性能。相较于现有方法，DRUM在真实数据集上取得了更高的分割精度，证明了其有效性。项目主页提供了更多实验细节和可视化结果。

🎯 应用场景

DRUM可应用于自动驾驶、机器人导航、环境感知等领域。通过降低对真实数据标注的依赖，可以加速LiDAR语义分割模型的开发和部署，提高自主系统的安全性和可靠性。该方法还可扩展到其他传感器和场景，具有广泛的应用前景。

📄 摘要（原文）

LiDAR-based semantic segmentation is a key component for autonomous mobile robots, yet large-scale annotation of LiDAR point clouds is prohibitively expensive and time-consuming. Although simulators can provide labeled synthetic data, models trained on synthetic data often underperform on real-world data due to a data-level domain gap. To address this issue, we propose DRUM, a novel Sim2Real translation framework. We leverage a diffusion model pre-trained on unlabeled real-world data as a generative prior and translate synthetic data by reproducing two key measurement characteristics: reflectance intensity and raydrop noise. To improve sample fidelity, we introduce a raydrop-aware masked guidance mechanism that selectively enforces consistency with the input synthetic data while preserving realistic raydrop noise induced by the diffusion prior. Experimental results demonstrate that DRUM consistently improves Sim2Real performance across multiple representations of LiDAR data. The project page is available at https://miya-tomoya.github.io/drum.