VLG-CBM: Training Concept Bottleneck Models with Vision-Language Guidance

📄 arXiv: 2408.01432v3 📥 PDF

作者: Divyansh Srivastava, Ge Yan, Tsui-Wei Weng

分类: cs.CV, cs.LG

发布日期: 2024-07-18 (更新: 2025-01-16)

备注: Appeared at NeurIPS 2024

💡 一句话要点

VLG-CBM：提出视觉-语言引导的概念瓶颈模型，提升可解释性和性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 概念瓶颈模型 可解释性AI 视觉-语言模型 目标检测 知识图谱

📋 核心要点

  1. 现有概念瓶颈模型（CBMs）在概念预测与输入图像匹配度上存在不足，影响了解释的可靠性。
  2. VLG-CBM利用视觉-语言信息，通过开放域目标检测器提供视觉接地的概念标注，增强概念预测的忠实性。
  3. 引入有效概念数量（NEC）指标，控制信息泄露，提升模型可解释性，并在多个基准测试中显著提升性能。

📝 摘要（中文）

概念瓶颈模型（CBMs）通过引入中间的概念瓶颈层（CBL）来提供可解释的预测，该层编码人类可理解的概念以解释模型的决策。最近的研究提出了利用大型语言模型和预训练的视觉-语言模型来自动化CBMs的训练，使其更具可扩展性和自动化。然而，现有方法仍然存在两个方面的不足：首先，CBL预测的概念通常与输入图像不匹配，这引起了对解释忠实性的怀疑。其次，概念值被证明编码了非预期的信息：即使是一组随机概念也可以实现与最先进的CBMs相当的测试精度。为了解决这些关键限制，我们提出了一种名为视觉-语言引导概念瓶颈模型（VLG-CBM）的新框架，以实现忠实的可解释性，并提高性能。我们的方法利用现成的开放域目标检测器来提供视觉上接地的概念注释，这大大增强了概念预测的忠实性，同时进一步提高了模型性能。此外，我们提出了一种名为有效概念数量（NEC）的新指标来控制信息泄漏并提供更好的可解释性。在五个标准基准上的广泛评估表明，我们的方法VLG-CBM在NEC=5时的准确率（表示为ANEC-5）上优于现有方法至少4.27％，最高可达51.09％，并且在平均准确率（表示为ANEC-avg）上优于现有方法至少0.45％，最高可达29.78％，同时保留了所学概念的忠实性和可解释性，这在广泛的实验中得到了证明。

🔬 方法详解

问题定义：现有概念瓶颈模型（CBMs）在训练过程中存在概念预测与输入图像不匹配的问题，导致模型的可解释性受到质疑。此外，即使使用随机概念，模型也能达到一定的精度，表明概念瓶颈层可能编码了非预期的信息，影响了模型的可信度。

核心思路：VLG-CBM的核心思路是利用视觉-语言信息来引导概念瓶颈模型的训练，从而提高概念预测的准确性和忠实性。具体来说，该方法使用预训练的开放域目标检测器来为图像中的概念提供视觉 grounding，确保概念与图像内容相关联。

技术框架：VLG-CBM的整体框架包括以下几个主要模块：1) 图像输入模块：接收输入图像。2) 概念标注模块：使用预训练的开放域目标检测器为图像中的概念生成视觉 grounding 的标注。3) 概念瓶颈层（CBL）：将图像特征映射到概念空间，并利用视觉 grounding 的标注进行监督训练。4) 预测模块：基于概念瓶颈层的输出进行最终的预测。5) NEC 控制模块：通过正则化等手段控制有效概念的数量，防止信息泄露。

关键创新：VLG-CBM的关键创新在于利用视觉-语言信息来增强概念瓶颈模型的训练。与现有方法相比，VLG-CBM 能够更准确地预测与图像内容相关的概念，从而提高模型的可解释性和忠实性。此外，NEC 指标的引入也为控制信息泄露提供了一种新的方法。

关键设计：VLG-CBM 的关键设计包括：1) 使用预训练的开放域目标检测器，例如 Grounding DINO，来生成视觉 grounding 的概念标注。2) 设计合适的损失函数，例如交叉熵损失，来监督概念瓶颈层的训练。3) 使用 NEC 指标来控制有效概念的数量，可以通过 L1 正则化等方式实现。4) 针对不同的数据集和任务，调整目标检测器的阈值和参数，以获得最佳的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VLG-CBM在五个标准基准测试中显著优于现有方法，在NEC=5时的准确率（ANEC-5）上提升了4.27%到51.09%，平均准确率（ANEC-avg）上提升了0.45%到29.78%。实验结果表明，VLG-CBM在提高模型性能的同时，显著增强了概念预测的忠实性和可解释性。

🎯 应用场景

VLG-CBM可应用于需要高可解释性的图像分类和识别任务中，例如医疗影像诊断、自动驾驶决策、金融风险评估等领域。该方法能够提供更可靠的解释，帮助用户理解模型的决策过程，从而增强信任度和可控性，并为模型的改进提供依据。

📄 摘要（原文）

Concept Bottleneck Models (CBMs) provide interpretable prediction by introducing an intermediate Concept Bottleneck Layer (CBL), which encodes human-understandable concepts to explain models' decision. Recent works proposed to utilize Large Language Models and pre-trained Vision-Language Models to automate the training of CBMs, making it more scalable and automated. However, existing approaches still fall short in two aspects: First, the concepts predicted by CBL often mismatch the input image, raising doubts about the faithfulness of interpretation. Second, it has been shown that concept values encode unintended information: even a set of random concepts could achieve comparable test accuracy to state-of-the-art CBMs. To address these critical limitations, in this work, we propose a novel framework called Vision-Language-Guided Concept Bottleneck Model (VLG-CBM) to enable faithful interpretability with the benefits of boosted performance. Our method leverages off-the-shelf open-domain grounded object detectors to provide visually grounded concept annotation, which largely enhances the faithfulness of concept prediction while further improving the model performance. In addition, we propose a new metric called Number of Effective Concepts (NEC) to control the information leakage and provide better interpretability. Extensive evaluations across five standard benchmarks show that our method, VLG-CBM, outperforms existing methods by at least 4.27% and up to 51.09% on Accuracy at NEC=5 (denoted as ANEC-5), and by at least 0.45% and up to 29.78% on average accuracy (denoted as ANEC-avg), while preserving both faithfulness and interpretability of the learned concepts as demonstrated in extensive experiments.