PPISP: Physically-Plausible Compensation and Control of Photometric Variations in Radiance Field Reconstruction

📄 arXiv: 2601.18336v1 📥 PDF

作者: Isaac Deutsch, Nicolas Moënne-Loccoz, Gavriel State, Zan Gojcic

分类: cs.CV, cs.GR

发布日期: 2026-01-26

备注: For more details and updates, please visit our project website: https://research.nvidia.com/labs/sil/projects/ppisp/

🔗 代码/项目: GITHUB

💡 一句话要点

提出PPISP，通过物理可信的ISP补偿与控制解决辐射场重建中的光度变化问题

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 辐射场重建 光度一致性 图像信号处理 物理建模 多视角三维重建

📋 核心要点

  1. 多视角3D重建对光度一致性要求高，现有方法缺乏物理基础，泛化性差。
  2. PPISP通过物理建模解耦相机内在和捕获相关的光度影响，并预测新视角的ISP参数。
  3. PPISP在标准数据集上达到SOTA，提供直观控制，并支持元数据集成，实现更真实的渲染。

📝 摘要（中文）

多视角3D重建方法对由相机光学特性和图像信号处理(ISP)变化引起的光度不一致性仍然高度敏感。现有的缓解策略，如逐帧潜在变量或仿射颜色校正，缺乏物理基础，并且对新视角的泛化能力较差。我们提出了物理可信的ISP(PPISP)校正模块，通过基于物理且可解释的变换来解耦相机内在和捕获相关的效应。一个专用的PPISP控制器，在输入视图上训练，预测新视点的ISP参数，类似于真实相机中的自动曝光和自动白平衡。这种设计能够在没有ground-truth图像的情况下，对新视角进行真实和公平的评估。PPISP在标准基准上实现了SoTA性能，同时提供直观的控制，并在可用时支持元数据的集成。源代码可在https://github.com/nv-tlabs/ppisp 获取。

🔬 方法详解

问题定义：多视角三维重建对光照变化非常敏感，不同视角的光照不一致会导致重建质量下降。现有的方法，如使用逐帧的潜在变量或仿射颜色校正，虽然可以一定程度上缓解这个问题，但缺乏物理基础，在新视角下的泛化能力较弱，难以保证重建结果的真实性。

核心思路：PPISP的核心思路是将图像信号处理（ISP）过程建模为一系列物理上可解释的变换，从而将相机固有的属性和捕获场景相关的光照影响解耦。通过学习这些变换的参数，可以对不同视角的图像进行光度校正，使其更加一致，从而提高重建质量。此外，PPISP还引入了一个控制器，用于预测新视角的ISP参数，类似于真实相机的自动曝光和自动白平衡功能。

技术框架：PPISP包含两个主要模块：PPISP校正模块和PPISP控制器。PPISP校正模块负责对输入图像进行光度校正，它基于物理模型，将ISP过程分解为多个可解释的变换，如颜色校正、伽马校正等。PPISP控制器则负责预测新视角的ISP参数，它是一个神经网络，以输入视图作为输入，输出新视角的ISP参数。整个流程是，首先使用PPISP校正模块对输入视图进行校正，然后使用PPISP控制器预测新视角的ISP参数，最后使用校正后的输入视图和预测的ISP参数进行辐射场重建。

关键创新：PPISP的关键创新在于其物理可信的光度校正方法。与现有的方法不同，PPISP不是简单地学习一个颜色变换，而是基于物理模型，将ISP过程分解为多个可解释的变换。这种方法具有更强的泛化能力，可以更好地适应不同的场景和相机。此外，PPISP还引入了一个控制器，用于预测新视角的ISP参数，这使得PPISP可以更好地处理动态场景和光照变化。

关键设计：PPISP校正模块中的每个变换都对应一个物理参数，例如颜色校正矩阵、伽马值等。这些参数可以通过学习得到，也可以使用先验知识进行初始化。PPISP控制器的网络结构可以根据具体的应用场景进行调整，常用的网络结构包括MLP、CNN等。损失函数通常包括重建损失和正则化损失，重建损失用于保证重建结果的质量，正则化损失用于约束ISP参数的取值范围。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PPISP在多个标准数据集上取得了SOTA性能，例如在DTU数据集上，PPISP的重建质量明显优于其他方法。此外，PPISP还具有良好的泛化能力，可以在不同的场景和相机下取得良好的效果。实验结果表明，PPISP可以有效地缓解光度不一致性问题，提高多视角三维重建的质量和真实感。

🎯 应用场景

PPISP可应用于各种多视角三维重建场景，例如自动驾驶、机器人导航、虚拟现实和增强现实等。通过提高重建质量和真实感，PPISP可以改善这些应用的用户体验和性能。此外，PPISP还可以用于图像编辑和增强，例如调整图像的曝光和白平衡，使其更加自然和美观。

📄 摘要（原文）

Multi-view 3D reconstruction methods remain highly sensitive to photometric inconsistencies arising from camera optical characteristics and variations in image signal processing (ISP). Existing mitigation strategies such as per-frame latent variables or affine color corrections lack physical grounding and generalize poorly to novel views. We propose the Physically-Plausible ISP (PPISP) correction module, which disentangles camera-intrinsic and capture-dependent effects through physically based and interpretable transformations. A dedicated PPISP controller, trained on the input views, predicts ISP parameters for novel viewpoints, analogous to auto exposure and auto white balance in real cameras. This design enables realistic and fair evaluation on novel views without access to ground-truth images. PPISP achieves SoTA performance on standard benchmarks, while providing intuitive control and supporting the integration of metadata when available. The source code is available at: https://github.com/nv-tlabs/ppisp