TagOOD: A Novel Approach to Out-of-Distribution Detection via Vision-Language Representations and Class Center Learning

📄 arXiv: 2408.15566v1 📥 PDF

作者: Jinglun Li, Xinyu Zhou, Kaixun Jiang, Lingyi Hong, Pinxue Guo, Zhaoyu Chen, Weifeng Ge, Wenqiang Zhang

分类: cs.CV

发布日期: 2024-08-28

备注: Accepted by ACMMM2024

💡 一句话要点

TagOOD：利用视觉-语言表征和类中心学习实现新颖的分布外检测方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分布外检测 视觉-语言模型 类中心学习 对象特征解耦 多模态融合

📋 核心要点

  1. 现有OOD检测方法依赖整图特征，易受无关信息干扰，限制了检测性能。
  2. TagOOD利用视觉-语言表征解耦对象特征，学习类中心，减少无关信息影响。
  3. 实验表明，TagOOD在多个基准数据集上优于现有OOD检测方法，提升了性能。

📝 摘要（中文）

多模态融合，例如利用视觉和语言数据，正迅速获得关注。这种丰富的数据表示提高了各种任务的性能。现有的分布外(OOD)检测方法，这是一个关键领域，因为AI模型在现实场景中会遇到未见过的数据，这些方法严重依赖于整图特征。这些图像级别的特征可能包含不相关的信息，从而阻碍了OOD样本的检测，最终限制了整体性能。在本文中，我们提出了TagOOD，一种新颖的OOD检测方法，它利用视觉-语言表征来实现从整图进行无标签对象特征解耦。这种分解能够更专注于对象语义的分析，从而提高OOD检测性能。随后，TagOOD在提取的对象特征上训练一个轻量级网络，以学习具有代表性的类中心。这些中心捕获了分布内(IND)对象类的中心趋势，从而最大限度地减少了OOD检测期间不相关的图像特征的影响。最后，我们的方法通过计算学习到的中心和测试样本之间的基于距离的度量作为OOD分数，从而有效地检测OOD样本。我们进行了广泛的实验，以评估TagOOD在多个基准数据集上的性能，并证明了其优于现有的OOD检测方法。这项工作为进一步探索多模态信息在OOD检测中的应用提供了一个新的视角，并具有在各种任务中的潜在应用。

🔬 方法详解

问题定义：论文旨在解决分布外(OOD)检测问题，即如何有效地识别模型未见过的样本。现有方法主要依赖于整图特征，但图像中往往包含与目标对象无关的信息，这些信息会干扰OOD检测，降低检测精度。因此，如何从图像中提取更纯粹、更具判别性的对象特征是关键挑战。

核心思路：TagOOD的核心思路是利用视觉-语言模型将图像分解为对象级别的特征，并学习分布内(IND)数据的类中心。通过对象特征解耦，可以减少背景噪声的干扰，更准确地捕捉对象语义。类中心学习则能够建立IND数据的特征空间分布，从而更容易区分OOD样本。

技术框架：TagOOD的整体框架包含以下几个主要阶段：1) 视觉-语言特征提取：使用预训练的视觉-语言模型（如CLIP）提取图像的视觉特征和文本标签的语义特征。2) 对象特征解耦：利用视觉-语言模型将图像分解为多个对象区域，并提取每个对象区域的特征。3) 类中心学习：在提取的对象特征上训练一个轻量级网络，学习每个IND类别的类中心。4) OOD检测：对于测试样本，计算其特征与各个类中心的距离，作为OOD分数。

关键创新：TagOOD的关键创新在于：1) 无标签对象特征解耦：利用视觉-语言模型，无需人工标注即可实现对象级别的特征提取，降低了数据标注成本。2) 类中心学习：通过学习IND数据的类中心，可以更有效地捕捉IND数据的特征分布，从而提高OOD检测的准确性。与现有方法相比，TagOOD更加关注对象语义，减少了背景噪声的干扰。

关键设计：在对象特征解耦阶段，论文使用了CLIP模型来提取视觉和文本特征。在类中心学习阶段，使用了一个简单的全连接网络作为分类器，并使用交叉熵损失函数进行训练。OOD分数计算使用了基于距离的度量，例如马氏距离或欧氏距离。具体的参数设置和网络结构在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，TagOOD在多个基准OOD检测数据集上取得了显著的性能提升。例如，在CIFAR-10数据集上，TagOOD相比于现有方法，FPR95（在95%的IND数据被正确分类的情况下，OOD数据被错误分类为IND数据的比例）降低了5%以上。这些结果验证了TagOOD的有效性，并表明其在OOD检测方面具有很大的潜力。

🎯 应用场景

TagOOD在许多安全攸关的应用中具有重要价值，例如自动驾驶、医疗诊断和金融风控。在自动驾驶中，它可以检测到未知的交通状况或障碍物；在医疗诊断中，它可以识别出罕见的疾病或异常；在金融风控中，它可以检测到欺诈交易。该研究有助于提高AI系统的鲁棒性和可靠性，使其能够更好地应对现实世界中的复杂场景。

📄 摘要（原文）

Multimodal fusion, leveraging data like vision and language, is rapidly gaining traction. This enriched data representation improves performance across various tasks. Existing methods for out-of-distribution (OOD) detection, a critical area where AI models encounter unseen data in real-world scenarios, rely heavily on whole-image features. These image-level features can include irrelevant information that hinders the detection of OOD samples, ultimately limiting overall performance. In this paper, we propose \textbf{TagOOD}, a novel approach for OOD detection that leverages vision-language representations to achieve label-free object feature decoupling from whole images. This decomposition enables a more focused analysis of object semantics, enhancing OOD detection performance. Subsequently, TagOOD trains a lightweight network on the extracted object features to learn representative class centers. These centers capture the central tendencies of IND object classes, minimizing the influence of irrelevant image features during OOD detection. Finally, our approach efficiently detects OOD samples by calculating distance-based metrics as OOD scores between learned centers and test samples. We conduct extensive experiments to evaluate TagOOD on several benchmark datasets and demonstrate its superior performance compared to existing OOD detection methods. This work presents a novel perspective for further exploration of multimodal information utilization in OOD detection, with potential applications across various tasks.