LiDAR-EVS: Enhance Extrapolated View Synthesis for 3D Gaussian Splatting with Pseudo-LiDAR Supervision

📄 arXiv: 2603.14763v1 📥 PDF

作者: Yiming Huang, Xin Kang, Sipeng Zhang, Hongliang Ren, Weihua Zhang, Junjie Lai

分类: cs.RO, cs.CV

发布日期: 2026-03-16

备注: 22 pages, 8 figures

💡 一句话要点

LiDAR-EVS：利用伪激光雷达监督增强3D高斯溅射外推视图合成，用于自动驾驶

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 外推视图合成 激光雷达模拟 自动驾驶 伪监督学习

📋 核心要点

  1. 现有3DGS方法在自动驾驶场景下，对外推视图的激光雷达模拟存在过拟合和泛化性差的问题，难以适应新的自车轨迹。
  2. LiDAR-EVS通过伪外推视图点云监督和空间约束dropout正则化，提升了3DGS在外推视图激光雷达模拟中的鲁棒性和泛化能力。
  3. 实验结果表明，LiDAR-EVS在多个数据集上实现了最先进的外推视图激光雷达合成性能，为自动驾驶相关应用提供了有力支持。

📝 摘要（中文）

3D高斯溅射(3DGS)已成为自动驾驶模拟中实时激光雷达和相机合成的强大技术。然而，对于超出训练轨迹的外推视图，使用3DGS模拟激光雷达仍然具有挑战性，因为现有方法通常在单次遍历传感器扫描上进行训练，存在严重的过拟合问题，并且对新的自车路径的泛化能力较差。为了在没有外部多遍数据的情况下，能够可靠地模拟沿未见过的驾驶轨迹的激光雷达，我们提出了LiDAR-EVS，这是一个轻量级框架，用于在自动驾驶中进行鲁棒的外推视图激光雷达模拟。LiDAR-EVS被设计为即插即用，可以很容易地扩展到各种激光雷达传感器和神经渲染基线，只需进行最小的修改。我们的框架包括两个关键组件：(1)具有多帧激光雷达融合、视图变换、遮挡卷曲和强度调整的伪外推视图点云监督；(2)空间约束的dropout正则化，提高了对真实驾驶中遇到的各种轨迹变化的鲁棒性。大量的实验表明，LiDAR-EVS在三个数据集上的外推视图激光雷达合成方面取得了SOTA性能，使其成为数据驱动模拟、闭环评估和自动驾驶系统中合成数据生成的有希望的工具。

🔬 方法详解

问题定义：论文旨在解决自动驾驶场景下，基于3D高斯溅射（3DGS）进行外推视图激光雷达模拟时，现有方法存在的过拟合和泛化能力不足的问题。这些方法通常依赖于单次遍历的传感器数据进行训练，导致模型难以适应新的自车轨迹，从而影响了模拟的真实性和可靠性。

核心思路：论文的核心思路是通过引入伪激光雷达监督和空间约束的dropout正则化来增强3DGS的泛化能力。伪激光雷达监督利用多帧激光雷达数据融合生成外推视图的点云，为模型提供额外的训练信号。空间约束的dropout正则化则通过在训练过程中随机丢弃部分高斯分布，迫使模型学习更鲁棒的特征表示，从而提高对不同轨迹变化的适应性。

技术框架：LiDAR-EVS框架主要包含两个关键模块：伪外推视图点云监督模块和空间约束dropout正则化模块。伪外推视图点云监督模块首先对多帧激光雷达数据进行融合，然后进行视图变换，模拟外推视图下的点云分布。为了模拟真实场景中的遮挡情况，该模块还引入了遮挡卷曲操作。最后，对点云强度进行调整，使其与真实激光雷达数据更加一致。空间约束dropout正则化模块则在3DGS的训练过程中，根据高斯分布的空间位置，有选择地丢弃部分高斯分布，从而提高模型的鲁棒性。

关键创新：论文的关键创新在于提出了伪激光雷达监督和空间约束dropout正则化相结合的方法，用于增强3DGS在外推视图激光雷达模拟中的泛化能力。与现有方法相比，该方法不需要额外的多遍数据，并且能够有效地提高模型对不同轨迹变化的适应性。

关键设计：在伪激光雷达监督模块中，论文采用了多帧激光雷达融合技术，以生成更完整的外推视图点云。在空间约束dropout正则化模块中，论文根据高斯分布的空间位置，设计了一个dropout概率函数，使得位于遮挡区域的高斯分布更容易被丢弃。此外，论文还对点云强度进行了调整，以提高模拟的真实性。具体的参数设置和损失函数细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LiDAR-EVS在三个不同的自动驾驶数据集上，均取得了最先进的外推视图激光雷达合成性能。相较于现有方法，LiDAR-EVS在合成质量和泛化能力方面均有显著提升。具体的性能指标，如点云的Chamfer Distance和IoU等，均优于其他基线方法。

🎯 应用场景

LiDAR-EVS在自动驾驶领域具有广泛的应用前景，可用于数据驱动的仿真、闭环评估和合成数据生成。通过生成高质量的合成激光雷达数据，可以降低自动驾驶算法的开发和测试成本，并提高算法的鲁棒性和安全性。此外，LiDAR-EVS还可以用于训练自动驾驶车辆的感知模块，例如目标检测、跟踪和语义分割等。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) has emerged as a powerful technique for real-time LiDAR and camera synthesis in autonomous driving simulation. However, simulating LiDAR with 3DGS remains challenging for extrapolated views beyond the training trajectory, as existing methods are typically trained on single-traversal sensor scans, suffer from severe overfitting and poor generalization to novel ego-vehicle paths. To enable reliable simulation of LiDAR along unseen driving trajectories without external multi-pass data, we present LiDAR-EVS, a lightweight framework for robust extrapolated-view LiDAR simulation in autonomous driving. Designed to be plug-and-play, LiDAR-EVS readily extends to diverse LiDAR sensors and neural rendering baselines with minimal modification. Our framework comprises two key components: (1) pseudo extrapolated-view point cloud supervision with multi-frame LiDAR fusion, view transformation, occlusion curling, and intensity adjustment; (2) spatially-constrained dropout regularization that promotes robustness to diverse trajectory variations encountered in real-world driving. Extensive experiments demonstrate that LiDAR-EVS achieves SOTA performance on extrapolated-view LiDAR synthesis across three datasets, making it a promising tool for data-driven simulation, closed-loop evaluation, and synthetic data generation in autonomous driving systems.