From Fields to Splats: A Cross-Domain Survey of Real-Time Neural Scene Representations
作者: Javed Ahmad, Penggang Gao, Donatien Delehelle, Mennuti Canio, Nikhil Deshpande, Jesús Ortiz, Darwin G. Caldwell, Yonas Teodros Tefera
分类: cs.CV
发布日期: 2025-09-28
备注: 18 pages
💡 一句话要点
综述：从NeRF到3DGS，实时神经场景表示的跨领域研究
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 神经场景表示 3D高斯溅射 神经辐射场 实时渲染 SLAM 机器人操作 远程呈现 3D内容生成
📋 核心要点
- NeRF虽然能实现高质量渲染，但计算成本高，优化速度慢，难以满足实时应用的需求。
- 3DGS通过显式地表示场景，优化了渲染流程，实现了更快的训练和推理速度，并保持了较高的渲染质量。
- 该综述系统地分析了3DGS在不同领域的应用，并探讨了其优势、局限性以及未来的发展方向。
📝 摘要（中文）
神经场景表示，如神经辐射场（NeRF）和3D高斯溅射（3DGS），已经改变了3D环境的建模、渲染和解释方式。NeRF通过体渲染引入了视角一致的光真实感；3DGS作为一种显式、高效的替代方案迅速崛起，支持高质量渲染、更快的优化以及集成到混合管线中，以增强光真实感和任务驱动的场景理解。本综述考察了3DGS在SLAM、远程呈现和远程操作、机器人操作和3D内容生成等领域的应用。尽管这些领域存在差异，但它们具有共同的目标：光真实感渲染、有意义的3D结构和准确的下游任务。我们围绕统一的研究问题组织综述，解释了为什么3DGS越来越多地取代基于NeRF的方法：哪些技术优势推动了它的采用？它如何适应不同的输入模态和领域特定的约束？还存在哪些局限性？通过系统地比较特定领域的管线，我们表明3DGS平衡了光真实感、几何保真度和计算效率。该综述为利用神经渲染提供了路线图，不仅用于图像合成，还用于真实和虚拟环境中的感知、交互和内容创建。
🔬 方法详解
问题定义：现有神经场景表示方法，特别是NeRF，在实时渲染和快速优化方面存在瓶颈。NeRF依赖于隐式的体渲染，计算复杂度高，难以应用于需要快速反馈的场景，例如SLAM、机器人操作等。此外，NeRF在处理大规模场景时，性能会显著下降。
核心思路：论文的核心思路是分析和总结3D高斯溅射（3DGS）在不同领域的应用，并探讨其相对于NeRF的优势。3DGS使用显式的高斯分布来表示场景，从而避免了NeRF中复杂的体渲染过程，实现了更快的渲染速度和优化效率。通过对不同领域应用案例的分析，揭示3DGS在平衡光真实感、几何保真度和计算效率方面的优势。
技术框架：该综述没有提出新的技术框架，而是对现有基于3DGS的方法进行了分类和比较。主要关注以下几个方面：输入模态（如RGB图像、深度图像）、领域特定约束（如SLAM中的实时性要求、机器人操作中的精确性要求）以及下游任务（如场景理解、目标检测）。通过分析不同领域的应用案例，总结了3DGS的通用性和适应性。
关键创新：该综述的关键创新在于对3DGS在不同领域的应用进行了系统性的总结和分析，并指出了其相对于NeRF的优势和局限性。通过对比不同领域的应用案例，揭示了3DGS在平衡光真实感、几何保真度和计算效率方面的潜力。该综述为研究人员提供了一个全面的视角，帮助他们更好地理解和应用3DGS。
关键设计：该综述没有涉及具体的技术细节，而是侧重于对现有方法的分析和比较。但是，文章提到了3DGS的一些关键技术，例如：使用高斯分布来表示场景、使用可微分的渲染方程进行优化、以及使用自适应密度控制来优化场景结构。这些技术细节是3DGS实现高效渲染和优化的关键。
🖼️ 关键图片
📊 实验亮点
该综述强调了3DGS在光真实感、几何保真度和计算效率之间的平衡。通过对比不同领域的应用案例，展示了3DGS相对于NeRF的优势。例如，在SLAM领域，3DGS能够实现更快的地图构建速度和更高的定位精度；在机器人操作领域，3DGS能够提供更准确的场景表示，从而提高机器人的操作性能。
🎯 应用场景
该研究对SLAM、远程呈现、机器人操作和3D内容生成等领域具有广泛的应用前景。3DGS能够实现更快的渲染速度和优化效率，从而支持实时交互和快速原型设计。此外，3DGS还可以用于创建更逼真的虚拟环境，并为机器人提供更准确的场景理解能力。
📄 摘要（原文）
Neural scene representations such as Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS) have transformed how 3D environments are modeled, rendered, and interpreted. NeRF introduced view-consistent photorealism via volumetric rendering; 3DGS has rapidly emerged as an explicit, efficient alternative that supports high-quality rendering, faster optimization, and integration into hybrid pipelines for enhanced photorealism and task-driven scene understanding. This survey examines how 3DGS is being adopted across SLAM, telepresence and teleoperation, robotic manipulation, and 3D content generation. Despite their differences, these domains share common goals: photorealistic rendering, meaningful 3D structure, and accurate downstream tasks. We organize the review around unified research questions that explain why 3DGS is increasingly displacing NeRF-based approaches: What technical advantages drive its adoption? How does it adapt to different input modalities and domain-specific constraints? What limitations remain? By systematically comparing domain-specific pipelines, we show that 3DGS balances photorealism, geometric fidelity, and computational efficiency. The survey offers a roadmap for leveraging neural rendering not only for image synthesis but also for perception, interaction, and content creation across real and virtual environments.