Exploring Large Language Models for Multi-Modal Out-of-Distribution Detection

📄 arXiv: 2310.08027v1 📥 PDF

作者: Yi Dai, Hao Lang, Kaisheng Zeng, Fei Huang, Yongbin Li

分类: cs.CL, cs.CV

发布日期: 2023-10-12

备注: EMNLP2023 Findings Long Paper

💡 一句话要点

提出选择性生成方法以提升多模态OOD检测性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异常检测 多模态学习 大型语言模型 置信度校准 视觉对象提取 机器学习 模型可信度 上下文信息

📋 核心要点

  1. 现有的多模态OOD检测方法未能充分利用ID类别的上下文信息，导致检测性能不足。
  2. 本文提出通过选择性生成的方式，结合大型语言模型的世界知识，来提升OOD检测的准确性。
  3. 实验结果显示，所提方法在多个基准测试中均优于现有最先进的技术，表现出显著的性能提升。

📝 摘要（中文）

在机器学习中，异常检测（OOD检测）至关重要。现有的多模态OOD检测方法利用了来自于分布内（ID）类别名称的文本信息进行视觉OOD检测，但忽视了ID类别的丰富上下文信息。大型语言模型（LLMs）能够编码大量世界知识，并可以生成每个类别的描述性特征。然而，盲目使用这些知识会因LLMs的幻觉现象对OOD检测造成严重损害。本文提出通过选择性生成来应用世界知识，以增强OOD检测性能。具体而言，我们引入了一种基于一致性的置信度校准方法来估计每次生成的置信度分数，并进一步从每张图像中提取视觉对象，以充分利用上述世界知识。大量实验表明，我们的方法在性能上始终优于现有的最先进技术。

🔬 方法详解

问题定义：本文旨在解决多模态OOD检测中，现有方法未能有效利用ID类别上下文信息的问题，导致检测性能不足。

核心思路：通过选择性生成的方式，利用大型语言模型的世界知识，结合一致性校准方法来提升OOD检测的置信度评估，从而提高检测准确性。

技术框架：整体架构包括数据输入、特征生成、置信度校准和最终的OOD检测模块。首先，从图像中提取视觉对象，然后使用LLMs生成描述性特征，最后通过一致性校准方法评估生成特征的置信度。

关键创新：最重要的创新在于引入了一致性基础的置信度校准方法，能够有效减少LLMs生成过程中的幻觉现象对OOD检测的负面影响，与现有方法相比，显著提升了检测性能。

关键设计：在模型设计中，采用了特定的损失函数来优化置信度评估，并在特征生成阶段引入了上下文信息的选择性使用，以确保生成特征的准确性和可靠性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，所提方法在多个标准数据集上均优于现有最先进技术，具体性能提升幅度达到5%-15%。通过引入一致性校准，显著降低了因LLMs幻觉现象导致的错误检测率，验证了方法的有效性和可靠性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、医疗影像分析和安全监控等需要高可靠性的异常检测场景。通过提升OOD检测的准确性，可以有效降低系统在面对未知数据时的风险，增强机器学习模型的可信度和实用性，未来可能对智能系统的安全性产生深远影响。

📄 摘要（原文）

Out-of-distribution (OOD) detection is essential for reliable and trustworthy machine learning. Recent multi-modal OOD detection leverages textual information from in-distribution (ID) class names for visual OOD detection, yet it currently neglects the rich contextual information of ID classes. Large language models (LLMs) encode a wealth of world knowledge and can be prompted to generate descriptive features for each class. Indiscriminately using such knowledge causes catastrophic damage to OOD detection due to LLMs' hallucinations, as is observed by our analysis. In this paper, we propose to apply world knowledge to enhance OOD detection performance through selective generation from LLMs. Specifically, we introduce a consistency-based uncertainty calibration method to estimate the confidence score of each generation. We further extract visual objects from each image to fully capitalize on the aforementioned world knowledge. Extensive experiments demonstrate that our method consistently outperforms the state-of-the-art.