PI-Light: Physics-Inspired Diffusion for Full-Image Relighting

📄 arXiv: 2601.22135v1 📥 PDF

作者: Zhexin Liang, Zhaoxi Chen, Yongwei Chen, Tianyi Wei, Tengfei Wang, Xingang Pan

分类: cs.CV

发布日期: 2026-01-29

备注: Accepted at ICLR 2026

💡 一句话要点

提出PI-Light，利用物理启发的扩散模型实现全图像光照重定向

🎯 匹配领域: 支柱四：生成式动作 (Generative Motion)

关键词: 光照重定向 扩散模型 物理启发 神经渲染 图像编辑

📋 核心要点

  1. 现有全图像光照重定向方法难以收集大规模配对数据，且泛化能力有限，无法很好地处理真实场景。
  2. PI-Light利用物理启发的扩散模型，结合批量感知注意力、物理引导的神经渲染等模块，提升光照重定向的物理合理性和泛化性。
  3. 实验表明，PI-Light在合成高光和漫反射方面表现出色，并在真实场景中实现了优于现有方法的泛化能力。

📝 摘要（中文）

全图像光照重定向是一个具有挑战性的问题，原因在于难以收集大规模的结构化配对数据，难以维持物理上的合理性，以及数据驱动先验带来的泛化能力限制。现有的弥合合成数据到真实数据之间差距的尝试并不理想。为了解决这些挑战，我们引入了Physics-Inspired diffusion for full-image reLight ($π$-Light, 或 PI-Light)，这是一个两阶段框架，利用了物理启发的扩散模型。我们的设计包含：（i）批量感知注意力，提高了图像集合中内在属性预测的一致性；（ii）物理引导的神经渲染模块，强制执行物理上合理的光传输；（iii）物理启发的损失函数，将训练动态调整到物理上有意义的景观，从而增强了对真实世界图像编辑的泛化能力；以及（iv）精心策划的、在受控光照条件下捕获的各种物体和场景的数据集。这些组件共同实现了预训练扩散模型的有效微调，同时也为下游评估提供了坚实的基准。实验表明，$π$-Light合成了各种材料上的镜面高光和漫反射，与先前的方法相比，实现了对真实世界场景的卓越泛化。

🔬 方法详解

问题定义：全图像光照重定向旨在改变图像中物体的光照条件，使其看起来像是在不同的光照环境下拍摄的。现有方法通常依赖于大规模的配对数据进行训练，但真实场景中难以获取这样的数据。此外，现有方法在保持光照物理合理性方面存在不足，导致重定向后的图像不自然，泛化能力差，难以应用于真实场景的图像编辑。

核心思路：PI-Light的核心思路是利用扩散模型强大的生成能力，并结合物理启发的约束，来学习光照重定向。通过物理引导的神经渲染模块和物理启发的损失函数，确保生成的光照效果在物理上是合理的。批量感知注意力机制则用于提高图像集合中内在属性预测的一致性，从而提升整体效果。

技术框架：PI-Light是一个两阶段框架。第一阶段是使用扩散模型预测图像的内在属性，例如反照率、法线和粗糙度。该阶段使用了批量感知注意力机制来提高一致性。第二阶段是使用物理引导的神经渲染模块，基于第一阶段预测的内在属性和新的光照条件，渲染出光照重定向后的图像。整个框架利用了预训练的扩散模型，并通过微调来适应光照重定向任务。

关键创新：PI-Light的关键创新在于将物理知识融入到扩散模型中，从而提升了光照重定向的物理合理性和泛化能力。具体来说，物理引导的神经渲染模块和物理启发的损失函数是核心创新点。此外，批量感知注意力机制也有助于提高图像集合中内在属性预测的一致性。

关键设计：批量感知注意力机制通过在注意力计算中考虑同一批次内的其他图像，来提高内在属性预测的一致性。物理引导的神经渲染模块基于光照传输方程，将反照率、法线、粗糙度和光照条件作为输入，渲染出光照重定向后的图像。物理启发的损失函数包括光度一致性损失、法线一致性损失和粗糙度一致性损失，用于约束训练过程，使其符合物理规律。数据集包含在受控光照条件下捕获的各种物体和场景，用于训练和评估模型。

📊 实验亮点

实验结果表明，PI-Light在合成镜面高光和漫反射方面表现出色，能够处理各种材料。与现有方法相比，PI-Light在真实场景中实现了更好的泛化能力。通过定性和定量评估，证明了PI-Light在光照重定向任务上的优越性。论文还提供了一个精心策划的数据集，为后续研究提供了基准。

🎯 应用场景

PI-Light在图像编辑、虚拟现实、游戏开发等领域具有广泛的应用前景。它可以用于改变图像或视频中的光照条件，例如将白天拍摄的图像转换为夜晚效果，或者模拟不同光照条件下的物体外观。此外，它还可以用于生成逼真的虚拟场景，提升虚拟现实和游戏体验。该研究的未来影响在于推动光照重定向技术的发展，使其更加逼真和易于使用。

📄 摘要（原文）

Full-image relighting remains a challenging problem due to the difficulty of collecting large-scale structured paired data, the difficulty of maintaining physical plausibility, and the limited generalizability imposed by data-driven priors. Existing attempts to bridge the synthetic-to-real gap for full-scene relighting remain suboptimal. To tackle these challenges, we introduce Physics-Inspired diffusion for full-image reLight ($π$-Light, or PI-Light), a two-stage framework that leverages physics-inspired diffusion models. Our design incorporates (i) batch-aware attention, which improves the consistency of intrinsic predictions across a collection of images, (ii) a physics-guided neural rendering module that enforces physically plausible light transport, (iii) physics-inspired losses that regularize training dynamics toward a physically meaningful landscape, thereby enhancing generalizability to real-world image editing, and (iv) a carefully curated dataset of diverse objects and scenes captured under controlled lighting conditions. Together, these components enable efficient finetuning of pretrained diffusion models while also providing a solid benchmark for downstream evaluation. Experiments demonstrate that $π$-Light synthesizes specular highlights and diffuse reflections across a wide variety of materials, achieving superior generalization to real-world scenes compared with prior approaches.