Unveiling Deep Shadows: A Survey and Benchmark on Image and Video Shadow Detection, Removal, and Generation in the Deep Learning Era
作者: Xiaowei Hu, Zhenghao Xing, Tianyu Wang, Chi-Wing Fu, Pheng-Ann Heng
分类: cs.CV, cs.GR, cs.MM
发布日期: 2026-02-28
💡 一句话要点
深度学习时代阴影检测、去除与生成：统一综述、基准测试与未来方向
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 阴影检测 阴影去除 阴影生成 深度学习 图像处理 视频处理 基准测试 数据集偏差
📋 核心要点
- 现有阴影处理方法在模型设计、分辨率依赖和跨数据集泛化方面存在不足，导致性能不稳定。
- 论文提出统一的阴影检测、去除和生成框架，强调共享照明线索和先验知识，提升处理效果。
- 通过标准化基准测试，论文揭示了现有方法的局限性，并为未来研究方向提供了指导。
📝 摘要（中文）
阴影是由于光线遮挡形成的，在视觉感知中起着至关重要的作用，直接影响场景理解、图像质量和视觉真实感。本文对基于深度学习的图像和视频阴影检测、去除和生成进行了统一的综述和基准测试。我们为架构、监督策略和学习范式引入了一致的分类；回顾了主要数据集和评估协议；并在标准化设置下重新训练了代表性方法，以实现公平比较。我们的基准测试揭示了关键发现，包括先前报告中的不一致、对模型设计和分辨率的强烈依赖，以及由于数据集偏差导致的有限的跨数据集泛化能力。通过综合这三个任务的见解，我们强调了连接检测、去除和生成的共享照明线索和先验知识。我们进一步概述了未来的方向，包括统一的多合一框架、语义和几何感知的推理、基于阴影的AIGC真实性分析，以及将物理引导的先验知识集成到多模态基础模型中。更正后的数据集、训练模型和评估工具已发布，以支持可重复的研究。
🔬 方法详解
问题定义：现有的阴影检测、去除和生成方法通常是独立开发的，缺乏统一的视角和评估标准。此外，这些方法在处理不同数据集时表现出显著的性能差异，表明它们对数据集偏差敏感。因此，需要一个统一的框架来理解和比较这些方法，并解决跨数据集泛化问题。
核心思路：论文的核心思路是将阴影检测、去除和生成视为相互关联的任务，并强调它们之间共享的照明线索和先验知识。通过统一的架构和学习范式，可以更好地利用这些共享信息，从而提高整体性能和泛化能力。此外，论文还强调了语义和几何信息的利用，以提高阴影处理的准确性和真实感。
技术框架：论文构建了一个统一的综述和基准测试框架，包括以下几个主要部分：1) 对现有的阴影检测、去除和生成方法进行分类和总结，并提出一致的分类标准；2) 回顾了主要的数据集和评估协议；3) 在标准化设置下重新训练了代表性方法，以进行公平比较；4) 分析了实验结果，并总结了关键发现和未来方向。
关键创新：论文的主要创新在于：1) 提出了一个统一的视角来理解阴影检测、去除和生成任务；2) 构建了一个标准化的基准测试框架，用于公平比较不同的方法；3) 强调了共享照明线索和先验知识的重要性，并提出了利用语义和几何信息的方法。
关键设计：论文的关键设计包括：1) 使用统一的架构和学习范式来处理阴影检测、去除和生成任务；2) 设计了标准化的评估协议，以进行公平比较；3) 利用语义分割和深度信息来提高阴影处理的准确性和真实感；4) 探索了物理引导的先验知识，以提高阴影处理的鲁棒性。
🖼️ 关键图片
📊 实验亮点
通过在标准化基准测试中重新训练和评估代表性方法，论文揭示了现有方法在性能和泛化能力方面的局限性。例如，某些方法在原始论文中报告的性能与在标准化设置下获得的性能存在显著差异。此外，论文还发现，现有方法对数据集偏差敏感，跨数据集泛化能力有限。
🎯 应用场景
该研究成果可广泛应用于图像编辑、视频增强、自动驾驶、增强现实等领域。例如，在图像编辑中，可以自动去除或生成阴影，以改善图像质量和视觉效果。在自动驾驶中，可以准确检测和去除阴影，以提高车辆对周围环境的感知能力。此外，该研究还可以用于AIGC内容的真实性分析，例如检测图像中是否存在人为添加的阴影。
📄 摘要（原文）
Shadows, formed by the occlusion of light, play an essential role in visual perception and directly influence scene understanding, image quality, and visual realism. This paper presents a unified survey and benchmark of deep-learning-based shadow detection, removal, and generation across images and videos. We introduce consistent taxonomies for architectures, supervision strategies, and learning paradigms; review major datasets and evaluation protocols; and re-train representative methods under standardized settings to enable fair comparison. Our benchmark reveals key findings, including inconsistencies in prior reports, strong dependence on model design and resolution, and limited cross-dataset generalization due to dataset bias. By synthesizing insights across the three tasks, we highlight shared illumination cues and priors that connect detection, removal, and generation. We further outline future directions involving unified all-in-one frameworks, semantics- and geometry-aware reasoning, shadow-based AIGC authenticity analysis, and the integration of physics-guided priors into multimodal foundation models. Corrected datasets, trained models, and evaluation tools are released to support reproducible research.