Unifying Color and Lightness Correction with View-Adaptive Curve Adjustment for Robust 3D Novel View Synthesis

📄 arXiv: 2602.18322v1 📥 PDF

作者: Ziteng Cui, Shuhong Liu, Xiaoyu Dong, Xuangeng Chu, Lin Gu, Ming-Hsuan Yang, Tatsuya Harada

分类: cs.CV

发布日期: 2026-02-20

备注: Journal extension version of CVPR 2025 paper: arXiv:2504.01503

💡 一句话要点

Luminance-GS++：提出视角自适应曲线调整，统一校正颜色和亮度，实现鲁棒的3D新视角合成

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D新视角合成 光照校正 3D高斯溅射 神经辐射场 视角自适应 无监督学习 图像重建

📋 核心要点

  1. 现有3D新视角合成方法在光照变化复杂场景下，由于光度不一致性，重建和渲染质量会显著下降。
  2. Luminance-GS++通过全局视角自适应亮度调整和局部像素级残差细化，实现精确的颜色校正，提升光度一致性。
  3. 实验表明，该方法在弱光、过曝光等场景下表现出色，优于现有技术，同时保持了3DGS的实时渲染效率。

📝 摘要（中文）

由于复杂的光照变化和相机成像管道的固有局限性，在真实环境中获取高质量图像仍然具有挑战性。多视角图像采集会加剧这些问题，因为光照、传感器响应和图像信号处理器（ISP）配置的差异会导致光度学和色度学的不一致，这违反了现代3D新视角合成（NVS）方法（包括神经辐射场（NeRF）和3D高斯溅射（3DGS））所依赖的光度一致性假设，从而降低了重建和渲染质量。我们提出了Luminance-GS++，这是一个基于3DGS的框架，用于在各种光照条件下实现鲁棒的NVS。我们的方法结合了全局视角自适应亮度调整和局部像素级残差细化，以实现精确的颜色校正。我们进一步设计了无监督目标，以联合强制亮度校正以及多视角几何和光度一致性。大量实验表明，在具有挑战性的场景（包括弱光、过度曝光以及复杂亮度和色度变化）中，我们的方法实现了最先进的性能。与修改底层表示的先前方法不同，我们的方法保留了显式的3DGS公式，从而提高了重建保真度，同时保持了实时渲染效率。

🔬 方法详解

问题定义：论文旨在解决由于复杂光照变化和相机成像管道的局限性导致的多视角图像光度不一致问题，这会严重影响3D新视角合成的重建和渲染质量。现有方法难以有效处理这些光照变化，导致重建结果失真或渲染效果不佳。

核心思路：论文的核心思路是通过视角自适应的亮度调整和像素级的颜色残差细化，来统一校正颜色和亮度，从而提高多视角图像的光度一致性。这种方法旨在补偿不同视角下光照和相机参数的差异，使得3D新视角合成方法能够更好地利用这些图像进行重建和渲染。

技术框架：Luminance-GS++框架基于3DGS，主要包含以下几个模块：1) 全局视角自适应亮度调整模块：根据视角信息调整图像的整体亮度。2) 局部像素级残差细化模块：对每个像素的颜色进行精细调整，以补偿局部光照变化。3) 无监督损失函数：联合优化亮度校正和多视角几何、光度一致性。整个框架以端到端的方式进行训练，以最小化重建误差和光度不一致性。

关键创新：该方法的关键创新在于将全局视角自适应亮度调整和局部像素级残差细化相结合，实现更精确的颜色校正。此外，该方法设计了无监督目标，可以联合优化亮度校正和多视角一致性，无需人工标注数据。与修改底层表示的方法不同，该方法保留了3DGS的显式表示，从而在提高重建质量的同时保持了实时渲染效率。

关键设计：全局视角自适应亮度调整模块使用一个小型神经网络，输入视角信息，输出亮度调整参数。局部像素级残差细化模块使用一个卷积神经网络，输入原始图像和视角信息，输出颜色残差。无监督损失函数包括光度一致性损失、几何一致性损失和正则化损失。光度一致性损失衡量不同视角下同一3D点的颜色差异，几何一致性损失衡量重建的3D结构与原始图像的投影一致性。正则化损失用于约束亮度调整参数和颜色残差，防止过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Luminance-GS++在弱光、过曝光和复杂光照变化等场景下，显著优于现有的NeRF和3DGS方法。在多个公开数据集上，该方法在PSNR、SSIM和LPIPS等指标上均取得了state-of-the-art的性能。例如，在弱光场景下，PSNR提升了2-3dB，证明了该方法在处理光照变化方面的有效性。

🎯 应用场景

该研究成果可应用于各种需要高质量3D重建和新视角合成的场景，例如自动驾驶、虚拟现实、增强现实、机器人导航和三维地图构建。通过提高在复杂光照条件下的重建质量，该方法可以提升这些应用在真实世界环境中的鲁棒性和实用性，并为用户提供更逼真的体验。

📄 摘要（原文）

High-quality image acquisition in real-world environments remains challenging due to complex illumination variations and inherent limitations of camera imaging pipelines. These issues are exacerbated in multi-view capture, where differences in lighting, sensor responses, and image signal processor (ISP) configurations introduce photometric and chromatic inconsistencies that violate the assumptions of photometric consistency underlying modern 3D novel view synthesis (NVS) methods, including Neural Radiance Fields (NeRF) and 3D Gaussian Splatting (3DGS), leading to degraded reconstruction and rendering quality. We propose Luminance-GS++, a 3DGS-based framework for robust NVS under diverse illumination conditions. Our method combines a globally view-adaptive lightness adjustment with a local pixel-wise residual refinement for precise color correction. We further design unsupervised objectives that jointly enforce lightness correction and multi-view geometric and photometric consistency. Extensive experiments demonstrate state-of-the-art performance across challenging scenarios, including low-light, overexposure, and complex luminance and chromatic variations. Unlike prior approaches that modify the underlying representation, our method preserves the explicit 3DGS formulation, improving reconstruction fidelity while maintaining real-time rendering efficiency.