CRISP: Fixing Flying Pixels in Latent LiDAR Generation via Diffusion Decoding

📄 arXiv: 2610.11376v1 📥 PDF

作者: Andrea Ceron, Michael Schmidt, Alvaro Marcos-Ramiro, Sebastian Schmidt, Benjamin Busam

分类: cs.CV, cs.AI

发布日期: 2026-10-08

备注: Accepted at NeurIPS 2026 (poster). 41 pages, 10 figures, 18 tables. Project page: https://andrea25512.github.io/CRISP/

💡 一句话要点

提出CRISP以解决潜在LiDAR生成中的飞行像素问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在LiDAR生成 飞行像素 扩散解码器 深度信息处理 自动驾驶 三维重建

📋 核心要点

  1. 现有潜在LiDAR生成方法存在飞行像素问题，导致深度信息模糊和不准确。
  2. 论文提出CRISP，通过像素空间扩散解码器修正飞行像素问题，保持编码器和潜在生成器不变。
  3. 实验结果表明，仅替换解码器即可显著降低FSVD/FPVD，且在不同数据集上均表现出色。

📝 摘要（中文）

潜在LiDAR生成管道存在飞行像素问题：卷积变分自编码器模糊了锐利的径向深度不连续性，导致边缘深度回投至表面之间的浮动点。我们将此视为一个主要且可直接修正的解码器瓶颈，并提出CRISP：一种像素空间扩散解码器，具有与骨干网络无关的潜在适配器、基于DiT的去噪器和支持掩码预测器。CRISP替代了视频变分自编码器和LiDAR原生解码器，同时保持编码器和潜在生成器不变。在KITTI-360、SemanticKITTI和nuScenes数据集上，仅替换解码器就使得FSVD/FPVD平均降低50.5%；对于通用视频变分自编码器，降低幅度达到71%/74%。在LiDAR原生LiDM骨干网络上，FRID降低71%，在深度不连续性处获得最大增益。在预训练的LiDM世界模型中，相同的零-shot替换使FSVD提高15.5%，缩小了仿真与现实之间的差距。

🔬 方法详解

问题定义：论文要解决的具体问题是潜在LiDAR生成中的飞行像素现象，这种现象由卷积变分自编码器引起，导致深度信息模糊，回投至表面之间的浮动点。现有方法在处理深度不连续性时表现不佳，影响了生成结果的准确性。

核心思路：论文的核心解决思路是引入CRISP，一个像素空间的扩散解码器，能够有效修正飞行像素问题。通过设计与骨干网络无关的潜在适配器和基于DiT的去噪器，CRISP能够在保持编码器和潜在生成器不变的情况下，显著提升解码质量。

技术框架：CRISP的整体架构包括三个主要模块：像素空间扩散解码器、潜在适配器和支持掩码预测器。解码器负责生成高质量的深度图，潜在适配器用于适配不同的骨干网络，而支持掩码预测器则帮助识别和处理深度不连续性。

关键创新：CRISP的最重要技术创新在于其像素空间扩散解码器的设计，能够有效减少飞行像素现象，与传统的卷积解码器相比，提供了更高的深度信息准确性。

关键设计：在关键设计方面，CRISP采用了特定的损失函数以优化深度图的生成质量，并在网络结构上引入了多层次的去噪机制，以提高对深度不连续性的处理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CRISP在KITTI-360、SemanticKITTI和nuScenes数据集上，仅替换解码器就使FSVD/FPVD平均降低50.5%，而在通用视频变分自编码器上，降低幅度达到71%/74%。在LiDAR原生LiDM骨干网络上，FRID降低71%，在深度不连续性处获得最大增益，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航和三维重建等场景。通过提高LiDAR生成的深度信息质量，CRISP能够在复杂环境中提供更可靠的感知能力，进而推动智能交通和智能机器人技术的发展。

📄 摘要（原文）

Latent LiDAR pipelines suffer from flying pixels: convolutional VAEs blur sharp radial depth discontinuities, yielding edge depths that back-project to points floating between surfaces. We identify this as a major, directly correctable decoder bottleneck and introduce CRISP: a pixel-space diffusion decoder with a backbone-agnostic latent adapter, DiT-based denoiser, and support mask predictor. CRISP replaces video-VAE and LiDAR-native decoders alike while keeping the encoder and latent generator fixed. Across KITTI-360, SemanticKITTI, and nuScenes, replacing only the decoder reduces FSVD/FPVD by 50.5% on average across frozen backbones; for generic video VAEs, the reductions reach 71%/74%. On the LiDAR-native LiDM backbone, FRID drops by 71%, with the largest gains at depth discontinuities. In a pretrained LiDM world model, the same zero-shot replacement improves FSVD by 15.5%, narrowing the sim-to-real gap.