DHGS: Decoupled Hybrid Gaussian Splatting for Driving Scene

📄 arXiv: 2407.16600v3 📥 PDF

作者: Xi Shi, Lingli Chen, Peng Wei, Xi Wu, Tian Jiang, Yonggang Luo, Lecheng Xie

分类: cs.CV

发布日期: 2024-07-23 (更新: 2024-08-18)

备注: 13 pages, 14 figures, conference

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出解耦混合高斯溅射(DHGS)，提升驾驶场景新视角合成质量。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 神经渲染 新视角合成 驾驶场景 解耦渲染 隐式表示 有向距离函数

📋 核心要点

  1. 现有高斯溅射方法在驾驶场景的新视角合成中表现不佳，缺乏精巧的设计和几何约束。
  2. DHGS通过解耦道路和非道路图层，并结合深度排序混合渲染策略，提升渲染质量。
  3. 在Waymo数据集上的实验表明，DHGS超越了现有最佳方法，实现了更高的图像保真度。

📝 摘要（中文）

本文提出了一种名为解耦混合高斯溅射(DHGS)的神经渲染方法，旨在提升静态驾驶场景中新视角合成的渲染质量。该方法的核心在于针对道路和非道路图层进行解耦和混合的像素级混合，打破了传统方法对整个场景采用统一可微渲染逻辑的限制。通过提出的深度排序混合渲染策略，保证了叠加的一致性和连续性。此外，训练了一个由有向距离函数(SDF)组成的隐式道路表示，以监督具有细微几何属性的道路表面。结合辅助透射率损失和一致性损失，最终获得了具有难以察觉的边界和更高保真度的新图像。在Waymo数据集上的大量实验证明，DHGS优于目前最先进的方法。

🔬 方法详解

问题定义：现有高斯溅射方法在驾驶场景的新视角合成中，由于缺乏针对场景元素的精细设计和几何约束，难以达到令人满意的渲染效果。尤其是在道路和非道路区域的混合渲染上，统一的渲染逻辑无法很好地处理不同区域的特性，导致图像质量下降。

核心思路：DHGS的核心思路是将道路和非道路区域的渲染解耦，分别采用不同的渲染策略。对于道路区域，利用隐式有向距离函数(SDF)进行几何约束，并结合辅助损失函数进行优化。对于非道路区域，则采用传统的高斯溅射方法。最后，通过深度排序的混合渲染策略，将两个区域的结果进行融合，保证整体场景的一致性和连续性。

技术框架：DHGS的整体框架主要包括三个部分：1) 道路区域的隐式表示学习，通过SDF网络学习道路的几何形状；2) 非道路区域的高斯溅射表示，采用传统的高斯溅射方法表示场景中的其他物体；3) 解耦混合渲染，将道路和非道路区域的渲染结果进行融合，生成最终的图像。该框架避免了对整个场景使用统一的渲染逻辑，从而更好地处理了道路和非道路区域的差异。

关键创新：DHGS最重要的技术创新点在于解耦混合渲染策略。与传统方法对整个场景采用统一的可微渲染逻辑不同，DHGS针对道路和非道路区域分别采用不同的渲染策略，从而更好地处理了不同区域的特性。此外，利用隐式SDF表示对道路区域进行几何约束，也提高了渲染质量。

关键设计：DHGS的关键设计包括：1) 使用SDF网络表示道路区域的几何形状，并采用辅助透射率损失和一致性损失进行优化；2) 采用深度排序的混合渲染策略，保证道路和非道路区域融合的一致性和连续性；3) 对道路和非道路区域分别设置不同的高斯参数初始化策略，以适应不同区域的特性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DHGS在Waymo数据集上进行了大量实验，结果表明，DHGS在图像质量和渲染速度方面均优于现有最佳方法。具体而言，DHGS在PSNR、SSIM和LPIPS等指标上均取得了显著提升，并且能够生成具有难以察觉的边界和更高保真度的图像。项目主页提供了更多视频证据。

🎯 应用场景

DHGS在自动驾驶、虚拟现实、游戏开发等领域具有广泛的应用前景。它可以用于生成高质量的驾驶场景图像，从而提高自动驾驶系统的感知能力和决策能力。此外，DHGS还可以用于创建逼真的虚拟驾驶环境，为驾驶员提供更加真实的驾驶体验。在游戏开发中，DHGS可以用于生成高质量的场景图像，提高游戏的沉浸感。

📄 摘要（原文）

Existing Gaussian splatting methods often fall short in achieving satisfactory novel view synthesis in driving scenes, primarily due to the absence of crafty designs and geometric constraints for the involved elements. This paper introduces a novel neural rendering method termed Decoupled Hybrid Gaussian Splatting (DHGS), targeting at promoting the rendering quality of novel view synthesis for static driving scenes. The novelty of this work lies in the decoupled and hybrid pixel-level blender for road and non-road layers, without the conventional unified differentiable rendering logic for the entire scene. Still, consistency and continuity in superimposition are preserved through the proposed depth-ordered hybrid rendering strategy. Additionally, an implicit road representation comprised of a Signed Distance Function (SDF) is trained to supervise the road surface with subtle geometric attributes. Accompanied by the use of auxiliary transmittance loss and consistency loss, novel images with imperceptible boundary and elevated fidelity are ultimately obtained. Substantial experiments on the Waymo dataset prove that DHGS outperforms the state-of-the-art methods. The project page where more video evidences are given is: https://ironbrotherstyle.github.io/dhgs_web.