LiDAR Resolution Recovery via Foundation-Model-Guided Diffusion

📄 arXiv: 2610.08620v1 📥 PDF

作者: Samed Doğan, Nico Leuze, Alfred Schöttl

分类: cs.CV

发布日期: 2026-10-06

💡 一句话要点

通过基础模型引导扩散实现LiDAR分辨率恢复

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: LiDAR 深度学习 基础模型 数据恢复 自动驾驶 环境感知

📋 核心要点

  1. 现有的高光束计数LiDAR传感器成本高，且在许多应用中需要更密集的角度采样，导致资源浪费。
  2. 本文提出了一种基于预训练Stable Diffusion模型的LiDAR条件深度模型，通过伪深度目标进行微调，以实现更高效的分辨率恢复。
  3. 实验结果显示，在极其稀疏的输入条件下，模型在恢复精度上显著优于传统方法，尤其在4光束输入时达到了66.8%的准确率。

📝 摘要（中文）

高光束计数的LiDAR传感器成本高昂，但许多感知管道需要密集的角度采样。本文利用预训练的Stable Diffusion模型作为基础，微调了一个LiDAR条件深度模型，使用来自2D基础模型的伪深度目标。在训练过程中，LiDAR条件随机减少不同的光束预算。我们研究了从严重减少的输入中可以恢复多少LiDAR扫描，并在输入光束预算上表征性能。通过在nuScenes上与物理持有的真实光束进行评估，分别报告恢复与拟合精度。我们的模型在非常稀疏的情况下表现出最大的优势，从4光束输入中实现了66.8%的δ_{1.25}准确率，而散射插值仅达到45.1%。分层错误分析进一步揭示，平面表面优先恢复，而引入深度不连续的物体最早降解。这些结果量化了基础模型引导的LiDAR增强的恢复/分辨率权衡。

🔬 方法详解

问题定义：本文旨在解决高光束计数LiDAR传感器成本高昂的问题，现有方法在稀疏输入情况下恢复精度不足，无法满足实际应用需求。

核心思路：通过利用预训练的Stable Diffusion模型，结合LiDAR条件深度模型，使用伪深度目标进行微调，从而在不同光束预算下实现LiDAR扫描的恢复。

技术框架：整体架构包括预训练的Stable Diffusion模型作为基础，LiDAR条件深度模型进行微调，训练过程中随机减少LiDAR条件的光束数量，评估恢复性能。

关键创新：最重要的创新在于将基础模型引导的扩散方法应用于LiDAR数据恢复，显著提升了在稀疏输入下的恢复能力，与传统方法相比具有本质区别。

关键设计：关键设计包括光束预算的随机减少策略、伪深度目标的生成方式，以及损失函数的设置，确保模型在不同条件下均能有效学习和恢复深度信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，模型在4光束输入条件下实现了66.8%的δ_{1.25}准确率，相较于散射插值方法的45.1%有显著提升。此外，分层错误分析显示平面表面恢复优先，进一步验证了模型在复杂场景中的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和环境感知等。通过提高LiDAR传感器在稀疏数据条件下的恢复能力，可以降低对高成本传感器的依赖，提升系统的经济性和实用性，未来可能推动相关技术的广泛应用。

📄 摘要（原文）

High-beam-count LiDAR sensors are costly, yet many perception pipelines require dense angular sampling. Using a pretrained Stable Diffusion model as the backbone, we fine-tune a LiDAR-conditioned depth model with pseudo-depth targets from a 2D foundation model. During training, the LiDAR conditioning is randomly decimated at different beam budgets. We then investigate how much of a LiDAR scan can be recovered from heavily decimated input and characterize performance across the input beam budget. We evaluate against physically held-out real beams on nuScenes and report recovery separately from fit accuracy. Our model yields its largest advantage in very sparse regimes, achieving a $δ_{1.25}$ accuracy of $66.8$% from $4$-beam input where scattered interpolation reaches only $45.1$%. A class-stratified error breakdown further reveals that planar surfaces recover first while objects introducing depth discontinuities degrade earliest. Together, these results quantify the recovery/resolution trade-off for foundation-model-guided LiDAR enhancement.