TCLC-GS: Tightly Coupled LiDAR-Camera Gaussian Splatting for Autonomous Driving

📄 arXiv: 2404.02410v2 📥 PDF

作者: Cheng Zhao, Su Sun, Ruoyu Wang, Yuliang Guo, Jun-Jun Wan, Zhou Huang, Xinyu Huang, Yingjie Victor Chen, Liu Ren

分类: cs.CV

发布日期: 2024-04-03 (更新: 2024-07-12)

💡 一句话要点

提出TCLC-GS以解决LiDAR与相机数据融合不足的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 高斯点云 LiDAR与相机融合 自动驾驶 深度学习

📋 核心要点

  1. 现有方法主要依赖3D LiDAR点初始化高斯，未能充分利用LiDAR与相机数据的融合潜力。
  2. 论文提出的TCLC-GS方法通过紧耦合的方式结合LiDAR和相机数据，设计混合的3D表示以提升重建质量。
  3. 在Waymo和nuScenes数据集上的评估显示，该方法实现了90 FPS和120 FPS的实时RGB和深度渲染，表现优异。

📝 摘要（中文）

大多数基于3D高斯点云的城市场景方法直接用3D LiDAR点初始化3D高斯，这不仅未充分利用LiDAR数据的能力，还忽视了LiDAR与相机数据融合的潜在优势。本文设计了一种新颖的紧耦合LiDAR-相机高斯点云（TCLC-GS），充分利用LiDAR和相机传感器的结合优势，实现快速、高质量的3D重建和新视角RGB/深度合成。TCLC-GS设计了一种混合显式（彩色3D网格）和隐式（分层八叉树特征）的3D表示，丰富了高斯点的属性。通过在优化过程中利用3D网格提供的密集深度信息，增强了训练过程的几何鲁棒性。综合评估表明，该方法在Waymo Open Dataset和nuScenes Dataset上表现出色。

🔬 方法详解

问题定义：本论文旨在解决现有3D高斯点云方法在城市场景中对LiDAR数据利用不足的问题，特别是未能有效融合LiDAR与相机数据的局限性。

核心思路：论文提出的TCLC-GS方法通过紧耦合的方式，结合LiDAR和相机数据，设计了一种混合的3D表示，既包含显式的彩色3D网格，又包含隐式的分层八叉树特征，从而丰富高斯点的属性。

技术框架：整体架构包括数据采集、3D表示生成、优化过程和渲染阶段。首先，利用LiDAR和相机数据生成混合3D表示；然后，在优化过程中使用3D网格提供的深度信息作为监督，最终实现高质量的RGB和深度渲染。

关键创新：最重要的创新点在于设计了混合的3D表示方式，使得高斯点不仅与3D网格对齐，还能通过八叉树特征获取更广泛的上下文信息，这与传统方法显著不同。

关键设计：在参数设置上，采用了适应性的损失函数以平衡显式和隐式特征的贡献，同时在网络结构中引入了分层八叉树以提高特征提取的效率和准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TCLC-GS在Waymo Open Dataset上实现了90 FPS的实时RGB和深度渲染，在nuScenes上达到120 FPS，均显著高于现有基线方法，展示了其在速度和质量上的优势。综合评估结果验证了该方法的前沿性能。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、城市环境的3D重建以及增强现实等。通过高效的LiDAR与相机数据融合，TCLC-GS能够为自动驾驶系统提供更为精准的环境感知，提升安全性和可靠性。未来，该技术有望在智能交通系统和无人驾驶汽车中发挥重要作用。

📄 摘要（原文）

Most 3D Gaussian Splatting (3D-GS) based methods for urban scenes initialize 3D Gaussians directly with 3D LiDAR points, which not only underutilizes LiDAR data capabilities but also overlooks the potential advantages of fusing LiDAR with camera data. In this paper, we design a novel tightly coupled LiDAR-Camera Gaussian Splatting (TCLC-GS) to fully leverage the combined strengths of both LiDAR and camera sensors, enabling rapid, high-quality 3D reconstruction and novel view RGB/depth synthesis. TCLC-GS designs a hybrid explicit (colorized 3D mesh) and implicit (hierarchical octree feature) 3D representation derived from LiDAR-camera data, to enrich the properties of 3D Gaussians for splatting. 3D Gaussian's properties are not only initialized in alignment with the 3D mesh which provides more completed 3D shape and color information, but are also endowed with broader contextual information through retrieved octree implicit features. During the Gaussian Splatting optimization process, the 3D mesh offers dense depth information as supervision, which enhances the training process by learning of a robust geometry. Comprehensive evaluations conducted on the Waymo Open Dataset and nuScenes Dataset validate our method's state-of-the-art (SOTA) performance. Utilizing a single NVIDIA RTX 3090 Ti, our method demonstrates fast training and achieves real-time RGB and depth rendering at 90 FPS in resolution of 1920x1280 (Waymo), and 120 FPS in resolution of 1600x900 (nuScenes) in urban scenarios.