Physics-Informed Video Flare Synthesis and Removal Leveraging Motion Independence between Flare and Scene

📄 arXiv: 2512.11327v1 📥 PDF

作者: Junqiao Wang, Yuanfei Huang, Hua Huang

分类: cs.CV

发布日期: 2025-12-12

💡 一句话要点

提出基于物理信息的视频光晕合成与去除方法，解决光晕与场景运动独立性问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频光晕去除 物理信息建模 运动独立性 时空一致性 Mamba 注意力机制 视频修复

📋 核心要点

  1. 视频光晕去除面临光晕、光源和场景内容复杂且相互独立的运动挑战，现有方法易产生闪烁和伪影。
  2. 提出基于物理的动态光晕合成流程，模拟光源运动和光晕时序行为，并设计运动独立的时空表示网络。
  3. 构建了包含合成和真实视频的光晕数据集，实验表明该方法在光晕去除和时空一致性上优于现有方法。

📝 摘要（中文）

本文针对视频中强光源引起的光晕现象，提出了一种基于物理信息的动态光晕合成流程和一个视频光晕去除网络。该流程利用光流模拟光源运动，并对散射和反射光晕的时序行为进行建模。该网络采用注意力模块抑制光晕区域，并结合基于Mamba的时序建模组件捕获长程时空依赖关系。这种运动独立的时空表示消除了多帧对齐的需求，减轻了光晕和场景内容之间的时间混叠，从而提高了视频光晕去除性能。此外，构建了首个视频光晕数据集，包含大量合成配对视频和真实视频，以评估泛化能力。实验表明，该方法在真实和合成视频上均优于现有的视频修复和图像光晕去除方法，有效去除动态光晕，同时保持光源完整性和场景时空一致性。

🔬 方法详解

问题定义：视频光晕去除旨在消除视频中由强光源引起的图像质量下降现象。现有方法主要集中在图像光晕去除，忽略了视频光晕的时空特性。视频光晕与场景内容、光源之间存在复杂的运动独立性，导致传统方法在处理视频时容易产生时间闪烁和伪影，难以保持时空一致性。

核心思路：论文的核心思路是利用物理信息建模光晕的生成过程，并设计能够有效处理光晕与场景运动独立性的网络结构。通过模拟光晕的动态生成过程，可以更好地理解光晕的特性，从而设计更有效的去除方法。同时，通过引入运动独立的时空表示，可以避免多帧对齐带来的误差，提高光晕去除的准确性和鲁棒性。

技术框架：该方法主要包含两个部分：基于物理信息的动态光晕合成流程和视频光晕去除网络。光晕合成流程利用光流模拟光源运动，并对散射和反射光晕的时序行为进行建模，生成逼真的合成光晕视频。视频光晕去除网络采用U-Net结构，并引入注意力模块抑制光晕区域，同时使用基于Mamba的时序建模组件捕获长程时空依赖关系。

关键创新：该论文的关键创新在于：1) 提出了基于物理信息的动态光晕合成流程，能够生成逼真的合成光晕视频，为视频光晕去除研究提供了数据支持。2) 设计了运动独立的时空表示网络，通过注意力机制和Mamba时序建模，有效处理了光晕与场景运动独立性带来的挑战，提高了光晕去除的准确性和时空一致性。

关键设计：在光晕合成流程中，利用光流估计光源的运动轨迹，并根据物理模型模拟散射和反射光晕的生成过程。在视频光晕去除网络中，注意力模块用于抑制光晕区域，Mamba模块用于捕获长程时空依赖关系。损失函数包括L1损失、感知损失和时间一致性损失，以保证光晕去除的准确性和时空一致性。具体参数设置未知。

📊 实验亮点

实验结果表明，该方法在合成和真实视频上均优于现有的视频修复和图像光晕去除方法。具体性能数据未知，但论文强调该方法在有效去除动态光晕的同时，能够保持光源完整性和场景时空一致性，解决了现有方法容易产生闪烁和伪影的问题。

🎯 应用场景

该研究成果可应用于视频监控、自动驾驶、电影制作等领域，提升在强光环境下的视频质量和视觉感知效果。例如，在自动驾驶中，可以有效去除阳光直射或对面车辆强光引起的光晕，提高车辆对周围环境的感知能力。在电影制作中，可以用于后期处理，去除不必要的光晕，提升画面质量。

📄 摘要（原文）

Lens flare is a degradation phenomenon caused by strong light sources. Existing researches on flare removal have mainly focused on images, while the spatiotemporal characteristics of video flare remain largely unexplored. Video flare synthesis and removal pose significantly greater challenges than in image, owing to the complex and mutually independent motion of flare, light sources, and scene content. This motion independence further affects restoration performance, often resulting in flicker and artifacts. To address this issue, we propose a physics-informed dynamic flare synthesis pipeline, which simulates light source motion using optical flow and models the temporal behaviors of both scattering and reflective flares. Meanwhile, we design a video flare removal network that employs an attention module to spatially suppress flare regions and incorporates a Mamba-based temporal modeling component to capture long range spatio-temporal dependencies. This motion-independent spatiotemporal representation effectively eliminates the need for multi-frame alignment, alleviating temporal aliasing between flares and scene content and thereby improving video flare removal performance. Building upon this, we construct the first video flare dataset to comprehensively evaluate our method, which includes a large set of synthetic paired videos and additional real-world videos collected from the Internet to assess generalization capability. Extensive experiments demonstrate that our method consistently outperforms existing video-based restoration and image-based flare removal methods on both real and synthetic videos, effectively removing dynamic flares while preserving light source integrity and maintaining spatiotemporal consistency of scene.