HarmoGS: Robust 3D Gaussian Splatting in the Wild via Conflict-Aware Gradient Harmonization
作者: Yulei Kang, Tianze Zhu, Jian-Fang Hu, Jianhuang Lai, Wei-Shi Zheng
分类: cs.CV
发布日期: 2026-05-13
💡 一句话要点
提出HarmoGS，通过冲突感知梯度调和实现复杂场景下鲁棒的3D高斯溅射
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯溅射 场景重建 梯度调和 跨视角一致性 鲁棒性 复杂场景 语义一致性
📋 核心要点
- 现有3DGS方法在复杂场景下受瞬态干扰和光照不一致影响，导致跨视角梯度冲突，优化不稳定。
- 提出HarmoGS框架，通过语义一致性掩码抑制不可靠监督，并采用梯度调和策略减少视角间负干扰。
- 实验表明，HarmoGS在复杂场景下实现了最先进的渲染质量，有效抑制了重建伪影。
📝 摘要（中文）
在复杂场景下的3D高斯溅射（3DGS）仍然具有挑战性，这主要是由于瞬态干扰物和光照引起的跨视角外观不一致性。现有方法主要依赖于图像级别的掩码来抑制不可靠的监督信息，但单独的掩码无法完全消除残余遮挡或解决光照引起的不一致性，这些都会引入冲突的跨视角梯度。这些未解决的冲突可能会破坏高斯优化，并导致可见的重建伪影。我们提出了一个冲突感知的3DGS框架，该框架从图像空间监督和梯度级别优化两个方面解决了这个问题。语义一致性引导的掩码学习像素级的置信度分数，以自适应地细化先验掩码，并在梯度形成之前抑制不可靠的监督信息。一种双视角冲突感知梯度调和策略通过相互旋转视角特定的梯度到正交配置来进一步调和它们，从而减少跨视角的负方向干扰。我们还引入了冲突感知的密度增加和剪枝，以稳定高斯增长并移除持续冲突的图元。在标准复杂场景基准上的大量实验表明，我们的方法在复杂的瞬态干扰物和跨视角不一致的情况下实现了最先进的渲染质量。
🔬 方法详解
问题定义：现有方法在复杂场景下进行3D高斯溅射时，容易受到瞬态干扰物（如移动的行人、车辆）和光照变化的影响，导致跨视角外观不一致。这些因素会产生冲突的梯度信息，使得高斯参数优化不稳定，最终导致重建结果出现伪影。现有方法通常采用图像级别的掩码来过滤不可靠的监督信号，但这种方法无法完全消除残余遮挡和光照不一致的影响。
核心思路：HarmoGS的核心思路是从图像空间监督和梯度级别优化两个方面解决跨视角梯度冲突问题。首先，通过语义一致性引导的掩码来更精确地过滤掉不可靠的像素信息。然后，通过梯度调和策略，对不同视角的梯度进行调整，使其方向更加一致，从而减少负面干扰，稳定高斯参数的优化。此外，还引入了冲突感知的密度增加和剪枝策略，以进一步提高重建质量。
技术框架：HarmoGS框架主要包含三个模块：1) 语义一致性引导的掩码（Semantic Consistency-Guided Masking）：利用语义信息和跨视角一致性来生成更精确的掩码，过滤掉不可靠的像素。2) 双视角冲突感知梯度调和（Dual-view Conflict-Aware Gradient Harmonization）：通过旋转不同视角的梯度，使其方向更加一致，减少负面干扰。3) 冲突感知的密度增加和剪枝（Conflict-Aware Densification and Pruning）：根据高斯图元的冲突程度，动态地增加或删除高斯图元，以提高重建质量和效率。
关键创新：HarmoGS的关键创新在于提出了冲突感知的梯度调和策略。与传统的直接使用梯度进行优化不同，HarmoGS通过分析不同视角的梯度之间的关系，对梯度进行调整，使其方向更加一致。这种方法能够有效地减少跨视角梯度冲突，提高高斯参数优化的稳定性。此外，语义一致性引导的掩码和冲突感知的密度增加/剪枝策略也进一步提高了重建质量。
关键设计：语义一致性引导的掩码模块使用一个神经网络来预测每个像素的置信度分数，该分数用于自适应地调整先验掩码。梯度调和模块通过计算两个视角梯度之间的旋转矩阵，将其中一个梯度旋转到与另一个梯度尽可能一致的方向。冲突感知的密度增加和剪枝模块根据高斯图元的梯度冲突程度，动态地调整高斯图元的数量。具体的损失函数包括渲染损失、掩码损失和梯度调和损失等。
🖼️ 关键图片
📊 实验亮点
HarmoGS在多个复杂场景数据集上取得了显著的性能提升。例如，在某个数据集上，HarmoGS的PSNR指标比现有最佳方法提高了超过1dB，并且在视觉效果上显著减少了伪影。实验结果表明，HarmoGS能够有效地处理瞬态干扰物和光照不一致性，生成高质量的3D重建结果。
🎯 应用场景
HarmoGS在三维重建、虚拟现实、增强现实、自动驾驶等领域具有广泛的应用前景。它可以用于重建复杂的室内外场景，生成高质量的3D模型，为用户提供更加逼真的虚拟体验。此外，HarmoGS还可以用于自动驾驶车辆的环境感知，提高车辆对复杂环境的适应能力。未来，该技术有望在更多领域得到应用，例如机器人导航、城市建模等。
📄 摘要（原文）
In-the-wild 3D Gaussian Splatting remains challenging due to transient distractors and illumination-induced cross-view appearance inconsistencies. Existing methods mainly rely on image-level masking to suppress unreliable supervision, but masking alone cannot fully eliminate residual occlusions or resolve illumination-induced inconsistencies, both of which can introduce conflicting cross-view gradients. These unresolved conflicts may destabilize Gaussian optimization and lead to visible reconstruction artifacts. We propose a conflict-aware 3DGS framework that addresses this problem from both image-space supervision and gradient-level optimization. Semantic Consistency-Guided Masking learns pixel-wise consistency scores to adaptively refine prior masks and suppress unreliable supervision before gradient formation. A dual-view Conflict-Aware Gradient Harmonization strategy further reconciles view-specific gradients by mutually rotating them into an orthogonal configuration, reducing negative directional interference across views. We also introduce conflict-aware densification and pruning to stabilize Gaussian growth and remove persistently conflicting primitives. Extensive experiments on standard in-the-wild benchmarks demonstrate that our method achieves state-of-the-art rendering quality under complex transient distractors and cross-view inconsistencies.