Leveraging 2D Priors and SDF Guidance for Dynamic Urban Scene Rendering

📄 arXiv: 2510.13381v1 📥 PDF

作者: Siddharth Tourani, Jayaram Reddy, Akash Kumbar, Satyajit Tourani, Nishant Goyal, Madhava Krishna, N. Dinesh Reddy, Muhammad Haris Khan

分类: cs.CV, cs.GR

发布日期: 2025-10-15

备注: Accepted at ICCV-2025, project page: https://dynamic-ugsdf.github.io/

💡 一句话要点

利用2D先验和SDF引导，实现动态城市场景渲染

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 动态场景渲染 3D高斯溅射 符号距离函数 2D先验 城市环境 场景重建 神经渲染 点云处理

📋 核心要点

  1. 现有动态城市场景渲染方法依赖大量数据，如激光雷达、3D分割和运动数据，限制了其应用。
  2. 该论文提出结合2D先验（深度和点跟踪）与SDF表示，并与3DGS集成，以减少对额外数据的依赖。
  3. 实验表明，该方法在没有激光雷达数据的情况下，仍能实现state-of-the-art的渲染性能，并支持场景编辑。

📝 摘要（中文）

动态场景渲染和重建在计算机视觉和增强现实中起着关键作用。最近基于3D高斯溅射(3DGS)的方法能够精确地建模动态城市场景，但对于城市场景，它们需要相机和激光雷达数据、ground-truth 3D分割以及轨迹或预定义的对象模板(如SMPL)形式的运动数据。本文探索了是否可以将2D对象无关先验(深度和点跟踪)与动态对象的符号距离函数(SDF)表示相结合，以放宽这些要求。我们提出了一种新方法，该方法将SDF与3DGS集成，通过利用两者的优势来创建更鲁棒的对象表示。我们的统一优化框架增强了3D高斯溅射的几何精度，并改进了SDF中的变形建模，从而产生更具适应性和精确性的表示。我们证明了我们的方法在城市场景中即使没有激光雷达数据也能在渲染指标上实现最先进的性能。当结合激光雷达时，我们的方法在重建和生成跨不同对象类别的新视角方面得到了进一步的改进，而无需ground-truth 3D运动注释。此外，我们的方法还支持各种场景编辑任务，包括场景分解和场景合成。

🔬 方法详解

问题定义：现有的动态城市场景渲染方法，如基于3D高斯溅射的方法，通常需要大量的额外信息，包括激光雷达数据、精确的3D分割以及物体的运动轨迹或预定义的模型。这些需求限制了这些方法在实际应用中的可行性，尤其是在缺乏这些额外信息的场景中。因此，如何减少对这些额外信息的依赖，同时保持甚至提升渲染质量，是一个重要的挑战。

核心思路：该论文的核心思路是利用2D图像中的先验信息（如深度和点跟踪）以及SDF表示，来引导3D高斯溅射的优化过程。通过将2D先验信息与SDF表示相结合，可以更有效地约束3D高斯溅射的形状和运动，从而减少对激光雷达数据和运动数据的依赖。这种方法的核心在于利用不同模态的信息互补，从而实现更鲁棒和高效的动态场景渲染。

技术框架：该方法的技术框架主要包括以下几个模块：1) 2D先验估计模块，用于从图像中估计深度和点跟踪信息；2) SDF表示模块，用于表示动态物体的形状和运动；3) 3D高斯溅射模块，用于渲染场景；4) 统一优化模块，用于将2D先验、SDF表示和3D高斯溅射集成到一个统一的优化框架中。该框架通过迭代优化3D高斯溅射的参数，使其与2D先验和SDF表示保持一致，从而实现高质量的动态场景渲染。

关键创新：该论文最重要的技术创新点在于将2D先验信息和SDF表示与3D高斯溅射相结合，形成一个统一的优化框架。与现有方法相比，该方法不需要激光雷达数据和运动数据，从而降低了数据需求。此外，该方法通过利用2D先验和SDF表示来约束3D高斯溅射的形状和运动，从而提高了渲染质量和鲁棒性。

关键设计：在关键设计方面，该论文可能采用了以下技术细节：1) 使用深度学习模型来估计2D深度信息和点跟踪信息；2) 使用隐式神经表示来表示SDF；3) 设计特定的损失函数，以鼓励3D高斯溅射与2D先验和SDF表示保持一致；4) 使用高效的优化算法来优化3D高斯溅射的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在没有激光雷达数据的情况下，在城市场景渲染指标上达到了state-of-the-art的性能。当结合激光雷达数据时，该方法在重建和生成跨不同对象类别的新视角方面得到了进一步的改进，而无需ground-truth 3D运动注释。此外，该方法还支持场景分解和场景合成等场景编辑任务，展示了其强大的灵活性和可扩展性。

🎯 应用场景

该研究成果可广泛应用于增强现实、虚拟现实、自动驾驶、机器人导航等领域。通过更高效、更精确地重建和渲染动态城市环境，可以提升用户在AR/VR体验中的沉浸感和真实感。在自动驾驶和机器人导航中，该技术可以帮助系统更好地理解和预测周围环境的变化，从而提高安全性和可靠性。此外，该方法还可用于城市规划、游戏开发等领域。

📄 摘要（原文）

Dynamic scene rendering and reconstruction play a crucial role in computer vision and augmented reality. Recent methods based on 3D Gaussian Splatting (3DGS), have enabled accurate modeling of dynamic urban scenes, but for urban scenes they require both camera and LiDAR data, ground-truth 3D segmentations and motion data in the form of tracklets or pre-defined object templates such as SMPL. In this work, we explore whether a combination of 2D object agnostic priors in the form of depth and point tracking coupled with a signed distance function (SDF) representation for dynamic objects can be used to relax some of these requirements. We present a novel approach that integrates Signed Distance Functions (SDFs) with 3D Gaussian Splatting (3DGS) to create a more robust object representation by harnessing the strengths of both methods. Our unified optimization framework enhances the geometric accuracy of 3D Gaussian splatting and improves deformation modeling within the SDF, resulting in a more adaptable and precise representation. We demonstrate that our method achieves state-of-the-art performance in rendering metrics even without LiDAR data on urban scenes. When incorporating LiDAR, our approach improved further in reconstructing and generating novel views across diverse object categories, without ground-truth 3D motion annotation. Additionally, our method enables various scene editing tasks, including scene decomposition, and scene composition.