VA-GS: Enhancing the Geometric Representation of Gaussian Splatting via View Alignment

📄 arXiv: 2510.11473v2 📥 PDF

作者: Qing Li, Huifang Feng, Xun Gong, Yu-Shen Liu

分类: cs.CV

发布日期: 2025-10-13 (更新: 2025-11-26)

备注: Accepted by NeurIPS 2025

🔗 代码/项目: GITHUB

💡 一句话要点

VA-GS：通过视角对齐增强高斯溅射的几何表示，提升表面重建精度。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 3D高斯溅射 新视角合成 表面重建 视角对齐 几何一致性

📋 核心要点

  1. 现有3D高斯溅射方法在表面重建精度方面存在不足，主要原因是高斯分布的离散性和非结构化导致多视角几何不一致。
  2. 论文提出视角对齐（VA）方法，通过边缘感知图像线索、可见性感知光度对齐损失和法线约束来增强几何表示。
  3. 实验结果表明，该方法在表面重建和新视角合成方面均取得了state-of-the-art的性能，显著提升了几何精度。

📝 摘要（中文）

3D高斯溅射（3D Gaussian Splatting）作为一种高效的新视角合成方法，近年来备受关注。然而，其在精确表面重建方面的能力仍有待探索。由于高斯分布的离散性和非结构化特性，仅依赖图像渲染损失的监督通常会导致不准确的几何形状和不一致的多视角对齐。本文提出了一种新方法，通过视角对齐（VA）来增强3D高斯分布的几何表示。具体而言，我们将边缘感知图像线索融入渲染损失中，以改善表面边界的描绘。为了增强跨视角的几何一致性，我们引入了一种可见性感知的光度对齐损失，该损失对遮挡进行建模，并鼓励高斯分布之间准确的空间关系。为了进一步减轻光照变化引起的歧义，我们结合了基于法线的约束来细化高斯分布的空间方向，并改善局部表面估计。此外，我们利用深度图像特征嵌入来增强跨视角一致性，从而提高学习到的几何形状在不同视角和光照下的鲁棒性。在标准基准上的大量实验表明，我们的方法在表面重建和新视角合成方面均实现了最先进的性能。

🔬 方法详解

问题定义：现有3D高斯溅射方法虽然在新视角合成方面表现出色，但在表面重建精度上存在瓶颈。其主要痛点在于，由于高斯分布的离散性和非结构化特性，仅依赖图像渲染损失进行监督，难以保证多视角几何一致性，导致重建的表面不准确，细节缺失。光照变化和遮挡进一步加剧了这一问题。

核心思路：论文的核心思路是通过引入视角对齐（View Alignment）机制，显式地约束不同视角下高斯分布的几何一致性。具体来说，通过引入边缘感知图像线索来改善表面边界的描绘，利用可见性感知的光度对齐损失来建模遮挡并鼓励高斯分布之间准确的空间关系，并结合基于法线的约束来细化高斯分布的空间方向。

技术框架：该方法的技术框架主要包含以下几个模块：1) 边缘感知渲染损失：将边缘信息融入渲染损失，提高表面边界的清晰度。2) 可见性感知光度对齐损失：通过建模遮挡关系，约束不同视角下对应高斯分布的光度一致性。3) 基于法线的约束：利用法线信息细化高斯分布的空间方向，提高局部表面估计的准确性。4) 深度图像特征嵌入：利用深度图像特征增强跨视角一致性，提高几何形状在不同视角和光照下的鲁棒性。

关键创新：该方法最重要的技术创新点在于将视角对齐的思想融入到3D高斯溅射的训练过程中，通过显式地约束不同视角下高斯分布的几何一致性，从而显著提高了表面重建的精度。与现有方法相比，该方法不仅关注图像渲染效果，更关注几何形状的准确性。

关键设计：1) 边缘感知渲染损失：使用Sobel算子提取图像边缘，并将其作为权重添加到渲染损失中。2) 可见性感知光度对齐损失：使用soft visibility mask来建模遮挡关系，并使用L1损失来约束不同视角下对应高斯分布的光度一致性。3) 基于法线的约束：使用法线一致性损失来约束高斯分布的法线方向，并使用余弦相似度来衡量法线一致性。4) 深度图像特征嵌入：使用预训练的ResNet模型提取深度图像特征，并使用L2损失来约束不同视角下对应高斯分布的特征一致性。

📊 实验亮点

实验结果表明，该方法在DTU和BlendedMVS数据集上均取得了state-of-the-art的性能。在表面重建精度方面，相比于baseline方法，该方法显著降低了Chamfer Distance和Normal Consistency Error。同时，该方法在新视角合成方面也取得了优异的性能，PSNR、SSIM和LPIPS等指标均优于其他方法。

🎯 应用场景

该研究成果可广泛应用于三维重建、虚拟现实、增强现实、自动驾驶等领域。通过提高表面重建的精度，可以为这些应用提供更准确、更逼真的三维模型，从而提升用户体验和系统性能。例如，在自动驾驶中，更精确的三维环境感知可以提高车辆的安全性。

📄 摘要（原文）

3D Gaussian Splatting has recently emerged as an efficient solution for high-quality and real-time novel view synthesis. However, its capability for accurate surface reconstruction remains underexplored. Due to the discrete and unstructured nature of Gaussians, supervision based solely on image rendering loss often leads to inaccurate geometry and inconsistent multi-view alignment. In this work, we propose a novel method that enhances the geometric representation of 3D Gaussians through view alignment (VA). Specifically, we incorporate edge-aware image cues into the rendering loss to improve surface boundary delineation. To enforce geometric consistency across views, we introduce a visibility-aware photometric alignment loss that models occlusions and encourages accurate spatial relationships among Gaussians. To further mitigate ambiguities caused by lighting variations, we incorporate normal-based constraints to refine the spatial orientation of Gaussians and improve local surface estimation. Additionally, we leverage deep image feature embeddings to enforce cross-view consistency, enhancing the robustness of the learned geometry under varying viewpoints and illumination. Extensive experiments on standard benchmarks demonstrate that our method achieves state-of-the-art performance in both surface reconstruction and novel view synthesis. The source code is available at https://github.com/LeoQLi/VA-GS.