Depth-Copy-Paste: Multimodal and Depth-Aware Compositing for Robust Face Detection

📄 arXiv: 2512.11683v1 📥 PDF

作者: Qiushi Guo

分类: cs.CV

发布日期: 2025-12-12

💡 一句话要点

提出Depth-Copy-Paste，通过多模态深度感知合成增强人脸检测鲁棒性。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 人脸检测 数据增强 Copy-Paste 多模态融合 深度感知 语义匹配 图像合成

📋 核心要点

  1. 传统Copy-Paste方法在人脸检测数据增强中存在前景提取不准、场景不一致等问题，导致合成图像不真实。
  2. Depth-Copy-Paste利用BLIP、CLIP进行语义匹配，SAM3进行精确分割，Depth-Anything提取深度信息，实现更真实的合成。
  3. 实验表明，Depth-Copy-Paste生成的数据增强样本能显著提升下游人脸检测任务的性能，优于传统方法。

📝 摘要（中文）

数据增强对于提高人脸检测系统的鲁棒性至关重要，尤其是在遮挡、光照变化和复杂环境等具有挑战性的条件下。传统的复制粘贴增强方法由于前景提取不准确、场景几何不一致和背景语义不匹配，通常会产生不真实的合成图像。为了解决这些限制，我们提出了一种深度复制粘贴（Depth Copy Paste）方法，这是一个多模态和深度感知的增强框架，通过复制完整的人体实例并将它们粘贴到语义兼容的场景中，从而生成多样且物理一致的人脸检测训练样本。我们的方法首先采用BLIP和CLIP联合评估语义和视觉连贯性，从而能够自动检索给定前景人物最合适的背景图像。为了确保高质量的前景掩码，保留面部细节，我们集成了SAM3进行精确分割，并使用Depth-Anything提取非遮挡的可见人物区域，防止损坏的面部纹理被用于增强。为了实现几何真实感，我们引入了一种深度引导的滑动窗口放置机制，该机制在背景深度图上搜索具有最佳深度连续性和尺度对齐的粘贴位置。由此产生的合成图像表现出自然的深度关系和改进的视觉合理性。大量的实验表明，与传统的复制粘贴和无深度增强方法相比，深度复制粘贴提供了更多样化和真实的训练数据，从而显着提高了下游人脸检测任务的性能。

🔬 方法详解

问题定义：现有的人脸检测数据增强方法，特别是Copy-Paste类方法，在复杂场景下容易出现合成图像不真实的问题。具体表现为：前景人像与背景场景在语义上不匹配，几何关系不协调，以及由于遮挡等原因导致的面部纹理损坏。这些问题会降低增强数据的质量，影响人脸检测模型的训练效果。

核心思路：Depth-Copy-Paste的核心思路是利用多模态信息（包括图像语义和深度信息）来指导Copy-Paste过程，从而生成更逼真、更符合物理规律的合成图像。通过语义匹配选择合适的背景，通过深度信息指导前景的放置，并利用精确的分割技术保留面部细节，最终提升人脸检测模型的鲁棒性。

技术框架：Depth-Copy-Paste框架主要包含以下几个阶段：1. 背景图像检索：使用BLIP和CLIP模型联合评估前景人物和候选背景图像的语义和视觉连贯性，选择最合适的背景。2. 前景分割与深度提取：使用SAM3进行精确的前景分割，并使用Depth-Anything提取前景人物的深度信息，去除被遮挡的部分。3. 深度引导的放置：在背景深度图上使用滑动窗口搜索最佳的粘贴位置，该位置需要满足深度连续性和尺度对齐的要求。4. 图像合成：将分割后的前景人物粘贴到选定的背景图像上，生成增强后的训练样本。

关键创新：Depth-Copy-Paste的关键创新在于其多模态和深度感知的合成方法。与传统的Copy-Paste方法相比，它不仅考虑了图像的语义信息，还利用了深度信息来指导前景的放置，从而保证了合成图像的几何真实感。此外，使用SAM3进行精确分割，避免了面部细节的损失。

关键设计：在背景图像检索阶段，BLIP和CLIP的输出结果被加权融合，以综合考虑语义和视觉信息。在深度引导的放置阶段，使用滑动窗口在背景深度图上搜索最佳位置，并计算深度连续性和尺度对齐的损失函数，选择损失最小的位置进行粘贴。具体参数设置和损失函数细节在论文中未明确说明，属于未知信息。

📊 实验亮点

实验结果表明，Depth-Copy-Paste方法在人脸检测任务上取得了显著的性能提升。与传统的Copy-Paste方法和无深度信息的增强方法相比，Depth-Copy-Paste能够生成更逼真的训练数据，从而提高人脸检测模型的精度和鲁棒性。具体的性能数据和提升幅度在摘要中未给出，属于未知信息。

🎯 应用场景

Depth-Copy-Paste可应用于各种人脸检测相关的任务中，尤其是在光照不足、遮挡严重等复杂场景下。该方法生成的增强数据可以提升人脸检测模型的鲁棒性和泛化能力，从而提高人脸识别、人脸属性分析等应用的性能。此外，该方法也可以推广到其他目标检测任务中，具有广泛的应用前景。

📄 摘要（原文）

Data augmentation is crucial for improving the robustness of face detection systems, especially under challenging conditions such as occlusion, illumination variation, and complex environments. Traditional copy paste augmentation often produces unrealistic composites due to inaccurate foreground extraction, inconsistent scene geometry, and mismatched background semantics. To address these limitations, we propose Depth Copy Paste, a multimodal and depth aware augmentation framework that generates diverse and physically consistent face detection training samples by copying full body person instances and pasting them into semantically compatible scenes. Our approach first employs BLIP and CLIP to jointly assess semantic and visual coherence, enabling automatic retrieval of the most suitable background images for the given foreground person. To ensure high quality foreground masks that preserve facial details, we integrate SAM3 for precise segmentation and Depth-Anything to extract only the non occluded visible person regions, preventing corrupted facial textures from being used in augmentation. For geometric realism, we introduce a depth guided sliding window placement mechanism that searches over the background depth map to identify paste locations with optimal depth continuity and scale alignment. The resulting composites exhibit natural depth relationships and improved visual plausibility. Extensive experiments show that Depth Copy Paste provides more diverse and realistic training data, leading to significant performance improvements in downstream face detection tasks compared with traditional copy paste and depth free augmentation methods.