WildRelight: A Real-World Benchmark and Physics-Guided Adaptation for Single-Image Relighting

📄 arXiv: 2605.11696v1 📥 PDF

作者: Lezhong Wang, Mehmet Onurcan Kaya, Siavash Bigdeli, Jeppe Revall Frisvad

分类: cs.CV, cs.AI, cs.GR

发布日期: 2026-05-12

备注: Companion paper to the CVPR26 findings paper 'WildRelight', introducing the physics-guided adaptation method evaluated on the dataset. Project Page: https://lez-s.github.io/wildrelight_proj/

💡 一句话要点

WildRelight：提出真实世界单图重光照基准与物理引导的自适应方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 单图重光照 领域自适应 真实世界数据集 物理引导 自监督学习

📋 核心要点

  1. 现有单图重光照方法在真实场景中效果不佳，主要原因是缺乏合适的真实世界数据集进行评估和训练。
  2. 论文提出WildRelight数据集，并利用其时间一致性，设计物理引导的自监督领域自适应框架。
  3. 实验表明，该方法能有效提升合成模型在真实场景中的重光照效果，缩小合成数据和真实数据之间的差距。

📝 摘要（中文）

现有的单图重光照方法在合成数据集上表现出令人印象深刻的光照真实感，但其在真实世界复杂视觉环境中的有效性仍未得到充分验证。由于现有数据集通常为多视角重建设计，无法解决单图重光照的独特挑战，因此存在一个关键的合成到真实世界的差距。为了弥合这一差距，我们推出了WildRelight，这是第一个专门为评估单图重光照模型而创建的真实场景数据集。WildRelight包含各种高分辨率户外场景，这些场景是在严格对齐的、随时间变化的自然光照下捕获的，每个场景都配有高动态范围环境图。利用这些数据，我们建立了一个严格的基准，揭示了在合成数据上训练的最先进模型遭受严重的领域偏移。WildRelight严格对齐的时间结构为领域自适应提供了一种新的范例。我们通过引入一个物理引导的推理框架来证明这一点，该框架利用捕获的自然光演化作为自监督约束。通过将扩散后验采样(DPS)与时间采样感知测试时自适应(TTA)相结合，我们表明该数据集允许合成模型即时地与真实世界统计数据对齐，从而将难以处理的sim-to-real挑战转化为易于处理的自监督任务。数据集和代码将公开提供，以促进稳健的、物理基础的重光照研究。

🔬 方法详解

问题定义：现有单图重光照方法在合成数据上表现良好，但在真实场景中效果显著下降。这是因为合成数据与真实数据存在领域差异，且缺乏专门为单图重光照设计的真实世界数据集。现有数据集多为多视角重建设计，无法捕捉真实光照的复杂性和变化。

核心思路：论文的核心思路是利用真实世界光照的时间一致性作为自监督信号，引导模型适应真实场景。通过捕获随时间变化的自然光照，并将其作为约束，使得模型能够学习到真实光照的统计特性，从而缩小合成数据和真实数据之间的差距。

技术框架：该方法主要包含两个阶段：首先，利用WildRelight数据集进行基准测试，评估现有模型在真实场景中的性能。然后，提出一个物理引导的推理框架，该框架利用捕获的自然光演化作为自监督约束。具体来说，该框架结合了扩散后验采样(DPS)和时间采样感知测试时自适应(TTA)，使得模型能够在测试时动态地适应真实场景的统计特性。

关键创新：该方法最重要的创新点在于利用真实世界光照的时间一致性作为自监督信号，实现领域自适应。与传统的领域自适应方法不同，该方法不需要额外的标注数据，而是直接利用WildRelight数据集自身的时间结构进行学习。此外，结合DPS和TTA，使得模型能够在测试时动态地适应真实场景的统计特性，进一步提升了模型的泛化能力。

关键设计：在物理引导的推理框架中，关键的设计包括：1) 使用高动态范围环境图来捕捉真实光照的变化；2) 设计时间采样感知测试时自适应(TTA)策略，使得模型能够根据时间信息选择合适的样本进行自适应；3) 使用扩散后验采样(DPS)来生成更加真实的光照效果。损失函数的设计也至关重要，需要考虑光照的物理特性和时间一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在WildRelight数据集上，现有模型存在严重的领域偏移。通过引入物理引导的推理框架，并结合DPS和TTA，该方法能够显著提升模型在真实场景中的重光照效果。具体来说，该方法在多个指标上都取得了显著的提升，例如，在光照真实感和图像质量方面都优于现有的方法。

🎯 应用场景

该研究成果可应用于增强现实、虚拟现实、游戏开发等领域，提升虚拟内容在真实场景中的真实感和沉浸感。例如，可以将虚拟物体无缝地融入真实场景中，并根据真实光照的变化动态调整虚拟物体的光照效果。此外，该方法还可以应用于图像编辑和修复，实现更加逼真的光照调整和修复效果。

📄 摘要（原文）

Recent single-image relighting methods, powered by advanced generative models, have achieved impressive photorealism on synthetic benchmarks. However, their effectiveness in the complex visual landscape of the real world remains largely unverified. A critical gap exists, as current datasets are typically designed for multi-view reconstruction and fail to address the unique challenges of single-image relighting. To bridge this synthetic-to-real gap, we introduce WildRelight, the first in-the-wild dataset specifically created for evaluating single-image relighting models. WildRelight features a diverse collection of high-resolution outdoor scenes, captured under strictly aligned, temporally varying natural illuminations, each paired with a high-dynamic-range environment map. Using this data, we establish a rigorous benchmark revealing that state-of-the-art models trained on synthetic data suffer from severe domain shifts. The strictly aligned temporal structure of WildRelight enables a new paradigm for domain adaptation. We demonstrate this by introducing a physics-guided inference framework that leverages the captured natural light evolution as a self-supervised constraint. By integrating Diffusion Posterior Sampling (DPS) with temporal Sampling-Aware Test-Time Adaptation (TTA), we show that the dataset allows synthetic models to align with real-world statistics on-the-fly, transforming the intractable sim-to-real challenge into a tractable self-supervised task. The dataset and code will be made publicly available to foster robust, physically-grounded relighting research.