Shadow Removal Refinement via Material-Consistent Shadow Edges
作者: Shilin Hu, Hieu Le, ShahRukh Athar, Sagnik Das, Dimitris Samaras
分类: cs.CV
发布日期: 2024-09-10
💡 一句话要点
提出基于材质一致性阴影边缘的阴影去除优化方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 阴影去除 材质一致性 自监督学习 图像分割 SAM模型
📋 核心要点
- 现有阴影去除方法难以区分阴影边界和材质边界，导致去除效果不佳，尤其是在真实场景中。
- 利用材质一致性阴影边缘作为自监督信号，通过颜色和纹理一致性损失来优化阴影去除过程。
- 通过微调SAM模型提取阴影不变分割，并结合阴影掩模提取材质一致性阴影边缘，提升阴影去除效果。
📝 摘要（中文）
阴影边界容易与材质边界混淆，因为两者都会在场景中表现出亮度或对比度的急剧变化。然而，阴影不会改变表面的固有颜色或纹理。因此，如果阴影被正确去除，在穿过具有相同材质区域的阴影边缘两侧，原始颜色和纹理应该相同。这些阴影/无阴影对是非常有用但难以收集的监督信号。本文的关键贡献在于学习如何识别那些穿过材质一致区域的阴影边缘，以及如何在测试时将它们用作阴影去除优化的自监督。为了实现这一目标，我们对图像分割基础模型SAM进行微调，以生成阴影不变的分割，然后通过比较SAM分割与阴影掩模来提取材质一致的阴影边缘。利用这些阴影边缘，我们引入颜色和纹理一致性损失来增强阴影去除过程。我们证明了我们的方法在更具挑战性的真实图像中改进阴影去除结果的有效性，优于最先进的阴影去除方法。此外，我们提出了一种新的度量标准和一个带注释的数据集，用于评估阴影去除方法的性能，而无需配对的阴影/无阴影数据。
🔬 方法详解
问题定义：阴影去除任务旨在消除图像中的阴影，恢复被阴影遮蔽区域的原始颜色和纹理。现有方法容易将阴影边界与材质边界混淆，导致阴影去除不准确，尤其是在复杂场景下。缺乏有效的监督信号也是一个挑战，因为难以获取完美的阴影/无阴影图像对。
核心思路：论文的核心思路是利用材质一致性约束。如果阴影边缘穿过同一材质区域，那么在阴影去除后，该边缘两侧的颜色和纹理应该保持一致。通过识别这些材质一致性阴影边缘，并将其作为自监督信号，可以指导阴影去除过程，提高去除效果。
技术框架：该方法主要包含以下几个阶段：1) 使用阴影检测模型生成初始阴影掩模；2) 微调SAM（Segment Anything Model）模型，使其能够生成阴影不变的图像分割；3) 通过比较SAM分割结果和阴影掩模，提取材质一致性阴影边缘；4) 利用提取的阴影边缘，构建颜色和纹理一致性损失函数，并将其加入到阴影去除模型的训练过程中，以优化阴影去除效果。
关键创新：该方法最重要的创新点在于利用了材质一致性阴影边缘作为自监督信号。与传统的监督学习方法不同，该方法不需要配对的阴影/无阴影图像，而是通过分析图像本身的特性来指导阴影去除。此外，使用微调后的SAM模型进行阴影不变分割，能够更准确地识别材质区域，从而提取更可靠的材质一致性阴影边缘。
关键设计：关键设计包括：1) 使用SAM模型进行阴影不变分割，并通过微调提高分割精度；2) 设计颜色一致性损失和纹理一致性损失，以约束阴影去除后的图像在材质一致性阴影边缘两侧的颜色和纹理相似性；3) 提出新的评估指标和数据集，用于评估阴影去除方法在无配对数据上的性能。
🖼️ 关键图片
📊 实验亮点
该方法在真实场景图像上取得了显著的阴影去除效果，优于现有的state-of-the-art方法。论文还提出了一个新的评估指标和数据集，用于评估阴影去除方法在无配对数据上的性能，为阴影去除领域的研究提供了新的工具和资源。具体性能数据未知。
🎯 应用场景
该研究成果可应用于图像编辑、计算机视觉、自动驾驶等领域。在图像编辑中，可以用于去除照片中的阴影，提高图像质量。在计算机视觉中，可以作为预处理步骤，提高目标检测、图像识别等任务的准确率。在自动驾驶中，可以用于提高车辆在复杂光照条件下的感知能力。
📄 摘要（原文）
Shadow boundaries can be confused with material boundaries as both exhibit sharp changes in luminance or contrast within a scene. However, shadows do not modify the intrinsic color or texture of surfaces. Therefore, on both sides of shadow edges traversing regions with the same material, the original color and textures should be the same if the shadow is removed properly. These shadow/shadow-free pairs are very useful but hard-to-collect supervision signals. The crucial contribution of this paper is to learn how to identify those shadow edges that traverse material-consistent regions and how to use them as self-supervision for shadow removal refinement during test time. To achieve this, we fine-tune SAM, an image segmentation foundation model, to produce a shadow-invariant segmentation and then extract material-consistent shadow edges by comparing the SAM segmentation with the shadow mask. Utilizing these shadow edges, we introduce color and texture-consistency losses to enhance the shadow removal process. We demonstrate the effectiveness of our method in improving shadow removal results on more challenging, in-the-wild images, outperforming the state-of-the-art shadow removal methods. Additionally, we propose a new metric and an annotated dataset for evaluating the performance of shadow removal methods without the need for paired shadow/shadow-free data.