Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals

📄 arXiv: 2310.00603v2 📥 PDF

作者: Yair Gat, Nitay Calderon, Amir Feder, Alexander Chapanin, Amit Sharma, Roi Reichart

分类: cs.CL, cs.AI

发布日期: 2023-10-01 (更新: 2023-11-22)

💡 一句话要点

提出基于LLM的反事实生成方法以解决NLP模型解释问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 模型解释 反事实生成 因果推理 大型语言模型

📋 核心要点

  1. 现有的NLP模型解释方法往往无法有效地提供因果解释，且通常依赖于特定模型，限制了其应用范围。
  2. 本文提出了两种模型无关的反事实近似方法，第一种是通过LLM生成反事实，第二种是基于训练时的匹配方法。
  3. 实验结果表明，CF生成模型在解释性能上表现优异，而匹配方法在资源消耗上更具优势，且Top-K技术普遍提升了所有测试方法的效果。

📝 摘要（中文）

因果解释对于确保NLP系统的安全性和建立信任至关重要。然而，现有方法往往无法有效或高效地解释模型预测，并且通常是特定于模型的。本文提出了两种基于反事实（CF）近似的模型无关解释方法。第一种方法是CF生成，利用大型语言模型（LLM）在保持混淆概念不变的情况下，改变特定文本概念。尽管此方法有效，但在推理时应用LLM成本高昂。因此，第二种方法基于匹配，提出一种在训练时由LLM指导的方法，学习一个忠实于给定因果图的嵌入空间。通过理论证明近似CF是构建忠实解释的必要条件，实验结果显示CF生成模型在模型无关解释方面表现优异，而匹配方法在测试时资源消耗更少，效果也超越了许多基线。

🔬 方法详解

问题定义：本文旨在解决现有NLP模型解释方法的不足，尤其是其模型特定性和效率低下的问题。现有方法往往无法提供有效的因果解释，限制了用户对模型的信任。

核心思路：论文提出的核心思路是利用大型语言模型（LLM）生成反事实（CF）以实现模型无关的解释。通过改变特定文本概念而保持其他混淆概念不变，来生成有效的因果解释。

技术框架：整体架构包括两个主要模块：第一模块是CF生成，使用LLM在推理时生成反事实；第二模块是匹配方法，在训练时由LLM指导，学习一个嵌入空间以近似CF。

关键创新：最重要的技术创新在于提出了基于LLM的反事实生成和匹配方法，解决了传统方法的模型特定性问题，并在理论上证明了近似CF对构建忠实解释的必要性。

关键设计：在匹配方法中，设计了一个专门的嵌入空间，该空间忠实于给定的因果图，能够有效识别近似CF的匹配。此外，Top-K技术的引入显著提升了所有测试方法的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CF生成模型在模型无关解释方面表现优异，超越了许多基线方法。匹配方法在测试时资源消耗显著降低，同时也提供了有效的解释，整体性能提升幅度明显，尤其在引入Top-K技术后，所有测试方法的效果均有所改善。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理模型的安全性验证、模型透明度提升以及用户信任建立。通过提供有效的因果解释，研究成果可以帮助开发者和用户更好地理解和使用NLP系统，促进其在医疗、金融等关键领域的应用。

📄 摘要（原文）

Causal explanations of the predictions of NLP systems are essential to ensure safety and establish trust. Yet, existing methods often fall short of explaining model predictions effectively or efficiently and are often model-specific. In this paper, we address model-agnostic explanations, proposing two approaches for counterfactual (CF) approximation. The first approach is CF generation, where a large language model (LLM) is prompted to change a specific text concept while keeping confounding concepts unchanged. While this approach is demonstrated to be very effective, applying LLM at inference-time is costly. We hence present a second approach based on matching, and propose a method that is guided by an LLM at training-time and learns a dedicated embedding space. This space is faithful to a given causal graph and effectively serves to identify matches that approximate CFs. After showing theoretically that approximating CFs is required in order to construct faithful explanations, we benchmark our approaches and explain several models, including LLMs with billions of parameters. Our empirical results demonstrate the excellent performance of CF generation models as model-agnostic explainers. Moreover, our matching approach, which requires far less test-time resources, also provides effective explanations, surpassing many baselines. We also find that Top-K techniques universally improve every tested method. Finally, we showcase the potential of LLMs in constructing new benchmarks for model explanation and subsequently validate our conclusions. Our work illuminates new pathways for efficient and accurate approaches to interpreting NLP systems.