Appearance Decomposition Gaussian Splatting for Multi-Traversal Reconstruction

📄 arXiv: 2604.05908v1 📥 PDF

作者: Yangyi Xiao, Siting Zhu, Baoquan Yang, Tianchen Deng, Yongbo Chen, Hesheng Wang

分类: cs.CV

发布日期: 2026-04-07

🔗 代码/项目: GITHUB

💡 一句话要点

提出ADM-GS，通过显式外观分解解决多视角重建中光照不一致问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多视角重建 高斯溅射 外观分解 神经光场 光照建模

📋 核心要点

  1. 多视角重建面临的主要挑战是不同视角间由于光照和环境变化导致的外观不一致性。
  2. ADM-GS的核心思想是将场景外观分解为视角不变的材质属性和视角相关的光照变化。
  3. 实验结果表明，ADM-GS在多视角重建任务中，PSNR指标优于现有方法，并能生成更一致的视角外观。

📝 摘要（中文）

本文提出了一种用于多视角场景重建的ADM-GS（外观分解高斯溅射）框架。该框架通过显式外观分解来缓解静态背景中因不同视角光照和环境条件变化导致的外观不一致问题。对于静态背景，我们将外观分解为视角不变的材质（代表内在材质属性）和视角相关的光照（捕捉光照变化）。具体来说，我们设计了一种神经光场，它利用频率分离的混合编码策略，通过结合表面法线和显式反射向量，分别捕捉低频漫反射光照和高频镜面反射。在Argoverse 2和Waymo Open数据集上的定量评估表明了ADM-GS的有效性。在多视角实验中，我们的方法比现有的基于隐变量的基线方法实现了+0.98 dB PSNR的提升，并产生了更一致的视角外观。

🔬 方法详解

问题定义：多视角场景重建旨在整合来自同一地理区域但在不同时间捕获的多个序列。现有方法难以处理由于光照、天气等环境因素变化引起的跨视角外观不一致问题，导致重建质量下降。这些方法通常依赖隐式或不充分的外观建模，无法有效分离材质属性和光照影响。

核心思路：ADM-GS的核心思路是将场景外观显式地分解为两个部分：视角不变的材质属性和视角相关的光照。通过这种分解，模型可以学习到内在的几何结构和材质特性，并独立地建模不同视角下的光照变化，从而提高重建质量和视角一致性。

技术框架：ADM-GS框架主要包含以下几个模块：1) 高斯溅射表示：使用3D高斯分布来表示场景的几何结构和外观。2) 外观分解模块：将每个高斯分布的外观分解为材质属性和光照分量。3) 神经光场：使用神经光场来建模视角相关的光照，并利用频率分离的混合编码策略来区分低频漫反射和高频镜面反射。4) 渲染模块：将高斯分布和光照信息渲染成最终的图像。

关键创新：ADM-GS的关键创新在于显式地将外观分解为材质和光照，并使用神经光场来建模光照变化。这种显式分解使得模型能够更好地学习到场景的内在属性，并有效地处理跨视角的外观不一致问题。与现有方法相比，ADM-GS不需要依赖隐变量来建模外观，而是直接学习光照信息，从而提高了重建的准确性和可解释性。

关键设计：神经光场采用频率分离的混合编码策略，使用不同的频率编码来表示低频漫反射和高频镜面反射。具体来说，低频漫反射使用较小的频率编码，而高频镜面反射使用较大的频率编码。此外，模型还使用了表面法线和显式反射向量作为输入，以更好地捕捉光照信息。损失函数包括重建损失和正则化损失，用于约束材质属性和光照的平滑性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ADM-GS在Argoverse 2和Waymo Open数据集上进行了评估。实验结果表明，ADM-GS在多视角重建任务中取得了显著的性能提升。与现有的基于隐变量的基线方法相比，ADM-GS实现了+0.98 dB PSNR的提升，并生成了更一致的视角外观。这些结果验证了ADM-GS在处理跨视角外观不一致问题方面的有效性。

🎯 应用场景

ADM-GS在自动驾驶仿真、数字孪生构建等领域具有广泛的应用前景。它可以用于生成高质量的虚拟环境，用于自动驾驶算法的训练和测试。此外，ADM-GS还可以用于构建城市级别的数字孪生，用于城市规划、交通管理等应用。该研究有助于提升虚拟环境的真实感和可用性。

📄 摘要（原文）

Multi-traversal scene reconstruction is important for high-fidelity autonomous driving simulation and digital twin construction. This task involves integrating multiple sequences captured from the same geographical area at different times. In this context, a primary challenge is the significant appearance inconsistency across traversals caused by varying illumination and environmental conditions, despite the shared underlying geometry. This paper presents ADM-GS (Appearance Decomposition Gaussian Splatting for Multi-Traversal Reconstruction), a framework that applies an explicit appearance decomposition to the static background to alleviate appearance entanglement across traversals. For the static background, we decompose the appearance into traversal-invariant material, representing intrinsic material properties, and traversal-dependent illumination, capturing lighting variations. Specifically, we propose a neural light field that utilizes a frequency-separated hybrid encoding strategy. By incorporating surface normals and explicit reflection vectors, this design separately captures low-frequency diffuse illumination and high-frequency specular reflections. Quantitative evaluations on the Argoverse 2 and Waymo Open datasets demonstrate the effectiveness of ADM-GS. In multi-traversal experiments, our method achieves a +0.98 dB PSNR improvement over existing latent-based baselines while producing more consistent appearance across traversals. Code will be available at https://github.com/IRMVLab/ADM-GS.