Physics-Grounded Attached Shadow Detection Using Approximate 3D Geometry and Light Direction
作者: Shilin Hu, Jingyi Xu, Sagnik Das, Dimitris Samaras, Hieu Le
分类: cs.CV
发布日期: 2025-12-05
💡 一句话要点
提出基于近似3D几何和光照方向的物理约束阴影检测方法
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 依附阴影检测 投射阴影检测 光照估计 几何推理 阴影分割 闭环推理 场景理解
📋 核心要点
- 现有阴影检测方法主要针对投射阴影，缺乏对依附阴影的关注，并且缺少相应的专用数据集。
- 该论文提出了一种联合检测投射阴影和依附阴影的框架，通过场景光照和几何信息进行推理，实现更准确的阴影检测。
- 实验结果表明，该方法在依附阴影检测上取得了显著提升，BER降低了至少33%，同时保持了整体阴影检测的性能。
📝 摘要（中文）
本文提出了一种联合检测依附阴影和投射阴影的框架，该框架通过推理场景光照和几何体的相互关系来实现。该系统包含一个阴影检测模块，分别预测两种阴影类型，以及一个光照估计模块，从检测到的阴影中推断光照方向。估计的光照方向与表面法线相结合，可以推导出几何一致的部分地图，识别可能发生自遮挡的区域。该部分地图被反馈以细化阴影预测，形成一个闭环推理过程，迭代地改进阴影分割和光照估计。为了训练该方法，构建了一个包含1,458张图像的数据集，分别标注了投射阴影和依附阴影，从而能够对两者进行训练和定量评估。实验结果表明，这种迭代的几何-光照推理显著提高了依附阴影的检测，降低了至少33%的BER，同时保持了强大的完整阴影和投射阴影性能。
🔬 方法详解
问题定义：论文旨在解决依附阴影检测问题。现有阴影检测方法主要关注投射阴影，忽略了依附阴影的重要性，并且缺乏专门的数据集和模型。这导致现有方法在理解场景三维结构和进行精确阴影分析方面存在局限性。
核心思路：论文的核心思路是利用场景的几何信息和光照信息之间的相互关系，通过迭代优化来提高依附阴影的检测精度。具体来说，通过光照估计和几何推理来约束阴影检测，并利用检测结果反过来优化光照估计。
技术框架：整体框架包含两个主要模块：阴影检测模块和光照估计模块。阴影检测模块负责分别预测投射阴影和依附阴影。光照估计模块根据检测到的阴影推断光照方向。然后，将估计的光照方向与表面法线结合，生成几何一致的部分地图，用于识别潜在的自遮挡区域。最后，将该部分地图反馈给阴影检测模块，以细化阴影预测，形成一个闭环迭代过程。
关键创新：该论文的关键创新在于引入了基于几何和光照信息的闭环推理机制，用于联合检测投射阴影和依附阴影。通过迭代地优化阴影分割和光照估计，该方法能够更准确地检测依附阴影，并提高整体阴影检测的性能。与现有方法相比，该方法更注重依附阴影的检测，并利用几何信息进行约束。
关键设计：论文构建了一个包含1458张图像的阴影数据集，并分别标注了投射阴影和依附阴影，用于训练和评估模型。在训练过程中，使用了合适的损失函数来优化阴影分割和光照估计。具体的网络结构和参数设置在论文中进行了详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在依附阴影检测方面取得了显著的提升，BER降低了至少33%，同时保持了强大的完整阴影和投射阴影性能。这表明该方法能够有效地利用几何和光照信息来提高阴影检测的准确性。具体对比的基线方法和数据集的详细信息未知。
🎯 应用场景
该研究成果可应用于三维重建、场景理解、图像编辑和增强现实等领域。精确的阴影检测能够提升三维模型的真实感，改善场景理解的准确性，并为图像编辑提供更精细的控制。在增强现实应用中，准确的阴影渲染能够增强虚拟物体与真实场景的融合效果。
📄 摘要（原文）
Attached shadows occur on the surface of the occluder where light cannot reach because of self-occlusion. They are crucial for defining the three-dimensional structure of objects and enhancing scene understanding. Yet existing shadow detection methods mainly target cast shadows, and there are no dedicated datasets or models for detecting attached shadows. To address this gap, we introduce a framework that jointly detects cast and attached shadows by reasoning about their mutual relationship with scene illumination and geometry. Our system consists of a shadow detection module that predicts both shadow types separately, and a light estimation module that infers the light direction from the detected shadows. The estimated light direction, combined with surface normals, allows us to derive a geometry-consistent partial map that identifies regions likely to be self-occluded. This partial map is then fed back to refine shadow predictions, forming a closed-loop reasoning process that iteratively improves both shadow segmentation and light estimation. In order to train our method, we have constructed a dataset of 1,458 images with separate annotations for cast and attached shadows, enabling training and quantitative evaluation of both. Experimental results demonstrate that this iterative geometry-illumination reasoning substantially improves the detection of attached shadows, with at least 33% BER reduction, while maintaining strong full and cast shadow performance.