PAM-ToD: Plug-and-Play Appearance Modeling for Cross-Time-of-Day 3D Gaussian Splatting
作者: Kota Shimomura, Sungho Moon, Tsubasa Hirakawa, Takayoshi Yamashita, Sunghoon Im, Hironobu Fujiyoshi
分类: cs.CV
发布日期: 2026-10-08
备注: 21 pages, 9 figures
💡 一句话要点
提出PAM-ToD以解决跨时间段3D高斯点云渲染问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 3D高斯点云 光照变化 实时渲染 颜色校正 自动驾驶 虚拟现实 增强现实
📋 核心要点
- 现有方法在跨时间段的3D场景渲染中，难以有效学习光照变化，导致渲染质量下降。
- PAM-ToD通过固定3DGS参数，利用少量锚点图像学习颜色校正，适应不同时间段的光照条件。
- 实验结果显示，PAM-ToD在静态和动态场景中均优于基线方法，PSNR更高，LPIPS更低，表现出色。
📝 摘要（中文）
在将预训练的3D高斯点云（3DGS）路景适应新的时间段时，需要从少量锚点图像中学习外观变化，同时保持一致的实时渲染。我们提出PAM-ToD，这是一种轻量级插件，通过固定预训练的3DGS参数来学习颜色校正。PAM-ToD调整每个高斯的现有颜色以建模光照变化，并使用附加项来增加亮度，例如夜间街灯开启时。通过简化的图像形成模型，可以消除源和目标外观之间的表面反射率的影响，从而在不单独估计反射率和光照的情况下学习这些校正。该模型在场景中校正颜色，同时允许校正因位置和高斯而异。为指导从少量锚点图像的学习，模型抑制这些校正的突变空间变化。我们还引入了CARLA-ToD，一个在三个时间段中具有匹配几何、相机姿态和移动物体轨迹的基准。使用少量目标时间锚点图像训练每个插件，而使用不同视图进行评估。PAM-ToD在静态和动态设置下均实现了比基线更高的PSNR和更低的LPIPS，即使锚点图像来自多个相机的单次同步捕获。
🔬 方法详解
问题定义：本论文旨在解决在不同时间段下，如何有效地将预训练的3D高斯点云（3DGS）模型适应新的光照条件。现有方法在光照变化的学习上存在不足，导致渲染效果不理想。
核心思路：PAM-ToD的核心思想是通过固定3DGS的参数，利用少量锚点图像来学习颜色校正，从而适应不同时间段的光照变化。该方法通过调整高斯的颜色和增加亮度项，来模拟光照的变化。
技术框架：PAM-ToD的整体架构包括颜色校正模块和光照变化建模模块。颜色校正模块负责根据锚点图像调整颜色，光照变化建模模块则通过简化的图像形成模型来消除表面反射率的影响。
关键创新：PAM-ToD的主要创新在于通过固定预训练参数来学习颜色校正，避免了传统方法中需要单独估计反射率和光照的复杂性。这一设计使得模型在实时渲染中保持高效性和准确性。
关键设计：在模型设计中，PAM-ToD使用了特定的损失函数来抑制颜色校正的突变，并通过位置和高斯的变化来实现灵活的颜色调整。此外，模型的训练过程中采用了少量目标时间锚点图像，以提高学习效率。
🖼️ 关键图片
📊 实验亮点
在实验中，PAM-ToD在静态和动态场景下均表现优异，PSNR值显著高于基线方法，且LPIPS值显著降低，显示出更好的视觉质量。即使锚点图像来自多个相机的单次同步捕获，PAM-ToD依然能够保持高效的渲染效果，展现出其强大的适应能力。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、虚拟现实和增强现实等场景，能够在不同时间段内提供一致的视觉体验。PAM-ToD的实时渲染能力和高效的光照适应性，能够显著提升这些领域的用户体验和系统性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Adapting a pre-trained 3D Gaussian Splatting (3DGS) road scene to a new time of day requires learning appearance changes from a few anchor images while preserving consistent, real-time rendering. We propose PAM-ToD, a lightweight plug-in that learns color corrections while keeping the pre-trained 3DGS parameters fixed. PAM-ToD scales each Gaussian's existing color to model illumination changes and uses an additive term for additional brightness, such as when street lamps turn on at night. Under a simplified image formation model, unchanged surface albedo can be eliminated from the relation between source and target appearances, allowing us to learn these corrections without separately estimating albedo and illumination. The model corrects colors across the scene while allowing the corrections to vary by location and by Gaussian. To guide learning from a few anchor images, it discourages abrupt spatial changes in these corrections. We also introduce CARLA-ToD, a benchmark with matching geometry, camera poses, and moving-object trajectories across three times of day. A few target-time anchor images are used to train each plug-in, while separate views are used for evaluation. Across the static and dynamic settings, PAM-ToD achieves higher PSNR and lower LPIPS than the baselines, even when the anchor images come from a single synchronized capture across multiple cameras.