Explain via Any Concept: Concept Bottleneck Model with Open Vocabulary Concepts

📄 arXiv: 2408.02265v1 📥 PDF

作者: Andong Tan, Fengtao Zhou, Hao Chen

分类: cs.CV

发布日期: 2024-08-05

备注: ECCV2024

💡 一句话要点

提出OpenCBM，通过开放词汇概念增强概念瓶颈模型的可解释性

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 概念瓶颈模型 可解释性AI 开放词汇 视觉-语言模型 CLIP 特征对齐 概念发现

📋 核心要点

  1. 现有概念瓶颈模型(CBM)依赖于固定的概念集，无法满足用户在模型部署后探索任意概念的需求。
  2. OpenCBM通过对齐图像特征空间与CLIP特征空间，并利用CLIP的文本编码能力，实现了开放词汇概念的CBM。
  3. 实验表明，OpenCBM在CUB-200-2011数据集上取得了显著的分类精度提升，超越了现有最佳CBM模型。

📝 摘要（中文）

本文提出了一种名为“OpenCBM”的概念瓶颈模型，旨在解决现有CBM依赖固定概念集合的局限性。OpenCBM利用CLIP等视觉-语言预训练模型的优势，通过以下方式实现开放词汇概念：(1) 通过基于原型的特征对齐，将可训练图像特征提取器的特征空间与CLIP图像编码器的特征空间对齐；(2) 同时在下游数据集上训练图像分类器；(3) 通过CLIP文本编码器编码的任何用户期望的文本概念集来重建训练后的分类头。为了揭示用户可能遗漏的概念，进一步提出迭代地寻找与重建过程中残差参数最接近的概念嵌入，直到残差足够小。据我们所知，OpenCBM是第一个具有开放词汇概念的CBM，为用户提供了独特的好处，例如在模型训练后移除、添加或替换任何期望的概念来解释模型的预测。此外，我们的模型在基准数据集CUB-200-2011上的分类精度显著优于先前的最先进CBM，提升了9%。

🔬 方法详解

问题定义：现有的概念瓶颈模型(CBM)依赖于预定义的、固定的概念集合。这种“封闭世界”的假设在实际应用中是不现实的，因为用户可能希望在模型部署后探究任意概念在决策过程中的作用。因此，如何使CBM能够处理开放词汇的概念，成为一个重要的挑战。

核心思路：OpenCBM的核心思路是利用视觉-语言预训练模型（如CLIP）的强大zero-shot能力，将图像特征空间与文本概念空间对齐。通过这种对齐，模型可以使用任意文本描述的概念来解释其预测，从而打破了传统CBM对固定概念集合的依赖。

技术框架：OpenCBM的整体框架包含以下几个主要模块：1) 可训练的图像特征提取器：用于提取图像的视觉特征。2) CLIP图像编码器：用于提取图像的CLIP特征，作为对齐的目标。3) 基于原型的特征对齐模块：用于将图像特征提取器的特征空间与CLIP图像编码器的特征空间对齐。4) 图像分类器：用于在下游数据集上进行分类训练。5) CLIP文本编码器：用于编码用户指定的文本概念。6) 分类头重建模块：使用CLIP文本编码器编码的概念来重建分类器的分类头。

关键创新：OpenCBM最关键的创新在于它实现了CBM的开放词汇概念。与传统的CBM不同，OpenCBM不再局限于预定义的固定概念集合，而是可以利用任意文本描述的概念来解释模型的预测。此外，OpenCBM还提出了一种迭代的概念发现方法，用于揭示用户可能遗漏的重要概念。

关键设计：在特征对齐方面，OpenCBM使用了基于原型的特征对齐方法，通过学习一组原型向量来表示CLIP特征空间，并将图像特征提取器的特征映射到这些原型向量上。在分类头重建方面，OpenCBM使用CLIP文本编码器编码的概念向量来线性组合分类器的权重矩阵。此外，OpenCBM还设计了一个残差概念发现模块，通过迭代地寻找与重建残差最接近的概念嵌入来补充用户提供的概念。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OpenCBM在CUB-200-2011数据集上取得了显著的性能提升，分类精度比之前的state-of-the-art CBM模型提高了9%。这表明OpenCBM能够有效地利用开放词汇概念来提高模型的性能。此外，OpenCBM的概念发现模块能够有效地揭示用户可能遗漏的重要概念，进一步增强了模型的可解释性。

🎯 应用场景

OpenCBM具有广泛的应用前景，例如在医疗诊断、自动驾驶、图像搜索等领域，可以帮助用户理解模型的决策过程，提高模型的可信度和透明度。用户可以根据自己的需求，添加、删除或替换概念，从而定制化模型的解释方式。此外，OpenCBM还可以用于发现新的、未知的概念，从而提高模型的性能和泛化能力。

📄 摘要（原文）

The concept bottleneck model (CBM) is an interpretable-by-design framework that makes decisions by first predicting a set of interpretable concepts, and then predicting the class label based on the given concepts. Existing CBMs are trained with a fixed set of concepts (concepts are either annotated by the dataset or queried from language models). However, this closed-world assumption is unrealistic in practice, as users may wonder about the role of any desired concept in decision-making after the model is deployed. Inspired by the large success of recent vision-language pre-trained models such as CLIP in zero-shot classification, we propose "OpenCBM" to equip the CBM with open vocabulary concepts via: (1) Aligning the feature space of a trainable image feature extractor with that of a CLIP's image encoder via a prototype based feature alignment; (2) Simultaneously training an image classifier on the downstream dataset; (3) Reconstructing the trained classification head via any set of user-desired textual concepts encoded by CLIP's text encoder. To reveal potentially missing concepts from users, we further propose to iteratively find the closest concept embedding to the residual parameters during the reconstruction until the residual is small enough. To the best of our knowledge, our "OpenCBM" is the first CBM with concepts of open vocabularies, providing users the unique benefit such as removing, adding, or replacing any desired concept to explain the model's prediction even after a model is trained. Moreover, our model significantly outperforms the previous state-of-the-art CBM by 9% in the classification accuracy on the benchmark dataset CUB-200-2011.