VALE: A Multimodal Visual and Language Explanation Framework for Image Classifiers using eXplainable AI and Language Models

📄 arXiv: 2408.12808v1 📥 PDF

作者: Purushothaman Natarajan, Athira Nambiar

分类: cs.CV, cs.AI, cs.CL, cs.LG

发布日期: 2024-08-23

备注: 15 pages, 10 tables, 3 figures

💡 一句话要点

VALE：一种用于图像分类器的多模态视觉和语言解释框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释AI 视觉语言模型 图像分类 多模态融合 SHAP SAM 语义鸿沟

📋 核心要点

  1. 深度神经网络缺乏可解释性，限制了其在高风险场景中的应用，XAI旨在解决此问题，但存在语义鸿沟和性能权衡等挑战。
  2. VALE框架结合XAI技术和语言模型，利用视觉解释、零样本图像分割和视觉语言模型生成文本解释，弥合语义鸿沟。
  3. 在ImageNet和水下声纳图像数据集上的实验表明，VALE在图像分类任务中具有实际应用价值，能够提供更易理解的解释。

📝 摘要（中文）

深度神经网络（DNN）通过实现任务自动化和减少人为错误，彻底改变了各个领域。然而，由于其黑盒特性，它们的内部运作和决策过程仍然不透明。因此，缺乏可解释性限制了这些模型在高风险场景中的应用。为了解决这个问题，新兴的可解释人工智能（XAI）领域旨在解释和理解DNN的内部运作。尽管取得了进展，XAI仍面临诸多挑战，例如机器和人类理解之间的语义鸿沟、可解释性和性能之间的权衡以及对特定上下文解释的需求。为了克服这些限制，我们提出了一种名为VALE（视觉和语言解释）的新型多模态框架。VALE集成了可解释AI技术和先进的语言模型，以提供全面的解释。该框架利用来自XAI工具的视觉解释、先进的零样本图像分割模型以及视觉语言模型来生成相应的文本解释。通过结合视觉和文本解释，VALE弥合了机器输出和人类解释之间的语义鸿沟，从而为用户提供更易于理解的结果。在本文中，我们对VALE框架在图像分类任务中进行了初步研究。具体来说，Shapley Additive Explanations（SHAP）用于识别分类图像中最具影响力的区域。然后使用Segment Anything Model（SAM）提取感兴趣的对象，并使用最先进的预训练视觉-语言模型（VLM）生成解释。在ImageNet数据集和自定义水下声纳图像数据集上进行了广泛的实验研究，证明了VALE在水下图像分类中的实际应用。

🔬 方法详解

问题定义：论文旨在解决深度神经网络在图像分类任务中缺乏可解释性的问题。现有方法，如单纯的视觉显著性图，难以被人类理解，存在语义鸿沟。同时，可解释性和模型性能之间往往存在权衡，难以兼顾。

核心思路：论文的核心思路是结合视觉解释和语言解释，利用视觉语言模型将视觉信息转化为人类可理解的文本描述。通过这种多模态融合的方式，弥合机器输出和人类理解之间的语义鸿沟，提供更全面的解释。

技术框架：VALE框架包含以下主要模块：1) 使用SHAP等XAI方法生成视觉解释，突出图像中的关键区域；2) 使用Segment Anything Model (SAM) 从图像中分割出感兴趣的对象；3) 使用预训练的视觉语言模型 (VLM) ，如CLIP或类似模型，将分割出的对象和视觉解释转化为文本描述。

关键创新：VALE的关键创新在于将XAI方法与视觉语言模型相结合，实现从视觉信息到自然语言解释的转换。这种方法不仅提供了视觉上的解释，还提供了语义上的解释，使得模型决策过程更易于理解。与传统的仅依赖视觉显著性图的方法相比，VALE提供了更丰富、更易于理解的解释。

关键设计：论文使用了SHAP作为XAI方法，SAM作为图像分割模型，并使用了预训练的视觉语言模型。具体的参数设置和损失函数取决于所使用的VLM。关键在于如何有效地将SHAP输出的显著性图与SAM分割出的对象结合起来，作为VLM的输入，以生成准确且有意义的文本解释。此外，如何选择合适的VLM，并针对特定任务进行微调，也是一个重要的设计考虑。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在ImageNet数据集和自定义水下声纳图像数据集上进行了实验，验证了VALE框架的有效性。实验结果表明，VALE能够生成与图像内容相关的、人类可理解的文本解释，从而提高了模型的可解释性。虽然论文没有提供具体的性能数据，但强调了VALE在水下图像分类等实际应用中的潜力。

🎯 应用场景

VALE框架可应用于各种需要高透明度和可解释性的图像分类场景，例如医疗图像诊断、自动驾驶、安全监控和水下目标识别。通过提供清晰的视觉和文本解释，VALE可以帮助用户更好地理解模型的决策过程，从而提高信任度，并促进模型在实际应用中的部署。

📄 摘要（原文）

Deep Neural Networks (DNNs) have revolutionized various fields by enabling task automation and reducing human error. However, their internal workings and decision-making processes remain obscure due to their black box nature. Consequently, the lack of interpretability limits the application of these models in high-risk scenarios. To address this issue, the emerging field of eXplainable Artificial Intelligence (XAI) aims to explain and interpret the inner workings of DNNs. Despite advancements, XAI faces challenges such as the semantic gap between machine and human understanding, the trade-off between interpretability and performance, and the need for context-specific explanations. To overcome these limitations, we propose a novel multimodal framework named VALE Visual and Language Explanation. VALE integrates explainable AI techniques with advanced language models to provide comprehensive explanations. This framework utilizes visual explanations from XAI tools, an advanced zero-shot image segmentation model, and a visual language model to generate corresponding textual explanations. By combining visual and textual explanations, VALE bridges the semantic gap between machine outputs and human interpretation, delivering results that are more comprehensible to users. In this paper, we conduct a pilot study of the VALE framework for image classification tasks. Specifically, Shapley Additive Explanations (SHAP) are used to identify the most influential regions in classified images. The object of interest is then extracted using the Segment Anything Model (SAM), and explanations are generated using state-of-the-art pre-trained Vision-Language Models (VLMs). Extensive experimental studies are performed on two datasets: the ImageNet dataset and a custom underwater SONAR image dataset, demonstrating VALEs real-world applicability in underwater image classification.