Not All Points Are Equal: Uncertainty-Aware 4D LiDAR Scene Synthesis

📄 arXiv: 2606.02510v1 📥 PDF

作者: Xiang Xu, Alan Liang, Youquan Liu, Xian Sun, Linfeng Li, Lingdong Kong, Ziwei Liu, Qingshan Liu

分类: cs.CV, cs.RO

发布日期: 2026-06-01

备注: CVPR 2026 E2E3D Workshop; GitHub at https://github.com/worldbench/U4D

💡 一句话要点

提出U4D框架，利用不确定性指导4D激光雷达场景合成，提升场景保真度和时序一致性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 4D场景合成 激光雷达 不确定性建模 扩散模型 时序一致性 自动驾驶 点云处理

📋 核心要点

  1. 现有生成框架对所有空间区域应用统一建模能力，忽略了激光雷达扫描中感知难度的差异。
  2. U4D框架利用空间不确定性指导场景生成，先合成高不确定性区域，再补全剩余区域，实现由难到易的生成。
  3. 实验表明，U4D在nuScenes和SemanticKITTI数据集上实现了最先进的场景保真度、时间一致性和下游任务性能。

📝 摘要（中文）

本文提出了一种新的框架U4D，它显式地利用空间不确定性来指导激光雷达场景生成，采用“由难到易”的策略。U4D通过预训练分割器利用香农熵导出每个点的不确定性图，然后应用无条件扩散阶段来合成具有精确几何结构的高熵区域，接着使用这些结构作为先验，通过条件补全阶段填充剩余区域。MoST（混合时空）块通过动态平衡空间细节和时间连续性来进一步保持跨帧一致性。在nuScenes和SemanticKITTI上的大量实验表明，该方法具有最先进的场景保真度、时间一致性和下游性能。

🔬 方法详解

问题定义：现有4D激光雷达场景合成方法对所有点云区域采用相同的处理方式，忽略了不同区域的不确定性差异。例如，远距离、遮挡边缘和小物体通常具有更高的不确定性，而现有方法无法有效处理这些区域，导致合成的场景保真度不高，时序一致性较差。

核心思路：本文的核心思路是利用点云的不确定性信息来指导场景合成过程，采用“由难到易”的策略。首先合成不确定性高的区域，然后利用这些区域作为先验信息来补全剩余区域。这种方法能够更有效地利用有限的建模能力，提高场景的保真度和时序一致性。

技术框架：U4D框架包含两个主要阶段：无条件扩散阶段和条件补全阶段。首先，利用预训练的分割器计算每个点的不确定性图，然后使用无条件扩散模型生成高不确定性区域的几何结构。接着，使用这些生成的结构作为条件，利用条件补全模型填充剩余区域。此外，还引入了MoST（Mixture of Spatio-Temporal）块来维护跨帧一致性。

关键创新：U4D的关键创新在于显式地利用空间不确定性来指导激光雷达场景生成。通过香农熵计算每个点的不确定性，并根据不确定性来调整生成过程。这种方法能够更有效地处理具有高不确定性的区域，从而提高场景的保真度和时序一致性。MoST块也是一个创新点，它能够动态平衡空间细节和时间连续性。

关键设计：U4D使用预训练的分割器来计算每个点的不确定性，具体来说，使用香农熵来衡量分割结果的不确定性。无条件扩散阶段使用标准的扩散模型，条件补全阶段使用条件扩散模型。MoST块通过学习权重来动态平衡空间和时间信息。损失函数包括重建损失和对抗损失，以提高生成场景的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

U4D在nuScenes和SemanticKITTI数据集上取得了显著的性能提升。与现有方法相比，U4D在场景保真度和时间一致性方面均有明显改善。实验结果表明，U4D能够生成更逼真、更稳定的4D激光雷达场景，并且在下游任务中表现更好。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、虚拟现实等领域。通过生成高质量的4D激光雷达场景，可以提高自动驾驶系统的感知能力和决策能力，增强机器人在复杂环境中的导航能力，并为虚拟现实应用提供更逼真的场景。

📄 摘要（原文）

Constructing faithful 4D worlds from LiDAR-acquired sequences is crucial for embodied AI, yet current generative frameworks apply uniform modeling capacity across all spatial regions. This ignores that perceptual difficulty varies dramatically within a single scan: distant surfaces, occluded boundaries, and small-scale objects carry far higher uncertainty than well-observed structures. We present U4D, a new framework that explicitly leverages spatial uncertainty to guide LiDAR scene generation in a "hard-to-easy" schedule. U4D derives per-point uncertainty maps via Shannon Entropy from a pretrained segmentor, then applies an unconditional diffusion stage to synthesize high-entropy areas with precise geometry, followed by a conditional completion stage that fills in the remaining regions using these structures as priors. A MoST (Mixture of Spatio-Temporal) block further maintains cross-frame coherence by dynamically balancing spatial detail and temporal continuity. Extensive experiments on nuScenes and SemanticKITTI demonstrate state-of-the-art scene fidelity, temporal consistency, and downstream performance.