Holi-DETR: Holistic Fashion Item Detection Leveraging Contextual Information

📄 arXiv: 2512.23221v1 📥 PDF

作者: Youngchae Kwon, Jinyoung Choi, Injung Kim

分类: cs.CV, cs.AI

发布日期: 2025-12-29

备注: 20 pages, 6 figures

💡 一句话要点

提出Holi-DETR，利用上下文信息进行整体时尚单品检测，提升检测精度。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 时尚单品检测 上下文信息 Detection Transformer 目标检测 人体关键点

📋 核心要点

  1. 时尚单品检测面临外观多样性和类别相似性带来的挑战，导致检测结果存在歧义。
  2. Holi-DETR通过融合单品共现关系、空间排列以及与人体关键点的关系三种上下文信息，实现更准确的整体检测。
  3. 实验表明，Holi-DETR在平均精度上优于DETR和Co-DETR，证明了上下文信息融合的有效性。

📝 摘要（中文）

本文提出了一种新颖的整体检测Transformer（Holi-DETR），通过利用上下文信息来整体地检测服装图像中的时尚单品，旨在解决时尚单品检测中因外观高度多样性和子类别相似性而引入的歧义性问题。与独立检测每个单品的传统检测器不同，Holi-DETR通过利用三种不同的上下文信息来检测多个单品，从而减少歧义性：(1)时尚单品之间的共现关系，(2)基于单品间空间排列的相对位置和大小，以及(3)单品与人体关键点之间的空间关系。实验结果表明，所提出的方法在平均精度（AP）方面分别提高了原始DETR和最近开发的Co-DETR的性能3.6个百分点（pp）和1.1个百分点。

🔬 方法详解

问题定义：时尚单品检测任务由于时尚单品外观的巨大差异以及子类别之间的高度相似性而极具挑战。现有的检测器通常独立地检测每个单品，忽略了单品之间的内在联系，导致检测结果容易产生歧义，影响检测精度。

核心思路：Holi-DETR的核心思路是利用时尚单品之间的上下文信息来减少检测歧义，从而提高检测精度。具体来说，它考虑了单品之间的共现关系、相对位置和大小关系，以及单品与人体关键点之间的空间关系。通过将这些上下文信息融入到检测过程中，Holi-DETR能够更准确地识别和定位时尚单品。

技术框架：Holi-DETR基于Detection Transformer (DETR) 架构，并对其进行了扩展。整体框架包括以下几个主要模块：图像特征提取模块（通常使用卷积神经网络），Transformer编码器-解码器模块，以及上下文信息融合模块。上下文信息融合模块负责提取和整合三种类型的上下文信息，并将它们融入到Transformer的编码器和解码器中。最终，解码器输出检测结果，包括单品的类别和位置。

关键创新：Holi-DETR的关键创新在于显式地将三种异构的上下文信息（共现关系、空间排列、人体关键点关系）集成到DETR框架中。与传统的DETR及其变体相比，Holi-DETR能够更有效地利用上下文信息来减少检测歧义，从而提高检测精度。

关键设计：Holi-DETR的关键设计包括：(1) 使用共现概率矩阵来表示单品之间的共现关系；(2) 使用相对位置和大小编码来表示单品之间的空间排列；(3) 使用人体关键点检测器来提取人体关键点，并将其与单品的位置信息进行融合。损失函数方面，Holi-DETR沿用了DETR的损失函数，包括分类损失和 bounding box 回归损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Holi-DETR在时尚单品检测任务上取得了显著的性能提升。具体来说，Holi-DETR在平均精度（AP）方面分别超过了原始DETR 3.6个百分点，超过了Co-DETR 1.1个百分点。这些结果验证了Holi-DETR利用上下文信息进行整体检测的有效性。

🎯 应用场景

Holi-DETR可应用于智能穿搭推荐、电商平台服装检索、虚拟试衣等领域。通过准确识别服装图像中的时尚单品，可以为用户提供个性化的穿搭建议，提高购物效率，并促进时尚产业的智能化升级。该研究的未来影响在于推动计算机视觉技术在时尚领域的更广泛应用。

📄 摘要（原文）

Fashion item detection is challenging due to the ambiguities introduced by the highly diverse appearances of fashion items and the similarities among item subcategories. To address this challenge, we propose a novel Holistic Detection Transformer (Holi-DETR) that detects fashion items in outfit images holistically, by leveraging contextual information. Fashion items often have meaningful relationships as they are combined to create specific styles. Unlike conventional detectors that detect each item independently, Holi-DETR detects multiple items while reducing ambiguities by leveraging three distinct types of contextual information: (1) the co-occurrence relationship between fashion items, (2) the relative position and size based on inter-item spatial arrangements, and (3) the spatial relationships between items and human body key-points. %Holi-DETR explicitly incorporates three types of contextual information: (1) the co-occurrence probability between fashion items, (2) the relative position and size based on inter-item spatial arrangements, and (3) the spatial relationships between items and human body key-points. To this end, we propose a novel architecture that integrates these three types of heterogeneous contextual information into the Detection Transformer (DETR) and its subsequent models. In experiments, the proposed methods improved the performance of the vanilla DETR and the more recently developed Co-DETR by 3.6 percent points (pp) and 1.1 pp, respectively, in terms of average precision (AP).