New Faithfulness-Centric Interpretability Paradigms for Natural Language Processing

📄 arXiv: 2411.17992v1 📥 PDF

作者: Andreas Madsen

分类: cs.CL, cs.LG

发布日期: 2024-11-27

备注: Doctoral thesis

💡 一句话要点

提出以忠实度为中心的可解释性范式，提升NLP模型解释的可靠性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性 忠实度 自然语言处理 深度学习 自我解释 忠实度可测量模型 事后解释 模型解释

📋 核心要点

  1. 现有NLP模型可解释性方法在忠实度方面存在不足，难以保证解释与模型行为的一致性。
  2. 论文提出忠实度可测量模型（FMMs）和自我解释两种新范式，旨在提升模型解释的忠实度。
  3. 实验表明，FMMs能够产生接近理论最优的忠实解释，且事后解释不再依赖于特定模型和任务。

📝 摘要（中文）

随着机器学习的广泛应用及其在关键领域的重要性日益增加，为模型提供解释以避免意外行为至关重要。然而，当前许多可解释性方法在忠实度方面存在不足。本博士论文旨在探讨“如何为复杂的通用神经NLP模型提供并确保忠实的解释？”。核心论点是应该发展新的可解释性范式。这首先需要开发可靠的忠实度指标，然后将从中获得的经验应用于新范式的开发。论文探索了两种新范式：忠实度可测量模型（FMMs）和自我解释。研究发现，当前的大型语言模型尚不能始终如一地进行自我解释，但提出了实现这一目标的方法。FMMs的设计目标是使忠实度的测量变得廉价而精确，从而可以优化解释以实现最大忠实度，使其更易于解释。研究表明，FMMs在忠实度方面产生了接近理论最优的解释。总体而言，对忠实度的所有研究表明，事后解释和内在解释默认情况下依赖于模型和任务。然而，使用FMMs时情况并非如此，即使使用相同的事后解释方法。这表明，即使对模型进行简单的修改，例如随机屏蔽训练数据集（如FMMs中所做的那样），也可以极大地改变情况，并产生始终如一的忠实解释。这回答了如何提供和确保忠实解释的问题。

🔬 方法详解

问题定义：现有NLP模型的可解释性方法，如事后解释和内在解释，通常难以保证解释的忠实度，即解释与模型实际决策过程的一致性。这使得人们难以信任和理解模型的行为，尤其是在高风险应用中。现有方法的痛点在于缺乏有效的忠实度评估和优化机制。

核心思路：论文的核心思路是设计一种新的可解释性范式，该范式以忠实度为中心，通过构建忠实度可测量模型（FMMs）和探索自我解释能力，来提升模型解释的可靠性。FMMs的设计目标是使忠实度的测量变得简单而精确，从而可以针对忠实度进行优化。

技术框架：论文主要包含以下几个阶段：1) 提出忠实度指标，用于评估解释的质量；2) 探索大型语言模型的自我解释能力，分析其局限性并提出改进方向；3) 设计忠实度可测量模型（FMMs），通过修改模型结构或训练方式，使其更易于解释；4) 使用事后解释方法对FMMs进行解释，并评估解释的忠实度。

关键创新：论文最重要的技术创新点在于提出了忠实度可测量模型（FMMs）的概念。与传统的黑盒模型不同，FMMs在设计时就考虑了可解释性，通过引入随机掩码等技术手段，使得模型的内部决策过程更容易被理解和解释。这与现有方法中依赖事后解释有本质区别，FMMs从模型层面保证了解释的忠实度。

关键设计：FMMs的关键设计在于通过随机掩码训练数据集，使得模型在学习过程中更加关注重要的特征，从而更容易被解释。具体的实现方式是，在训练过程中，随机地将输入数据的一部分特征置零，迫使模型依赖剩余的特征进行预测。这种方法可以有效地提高解释的忠实度，并且可以与其他事后解释方法结合使用。

📊 实验亮点

实验结果表明，FMMs能够产生接近理论最优的忠实解释，并且在使用相同的事后解释方法时，FMMs的解释不再依赖于特定模型和任务。这表明，通过简单的模型修改，例如随机掩码训练数据集，可以显著提升解释的忠实度。该研究为构建更可靠、更易于理解的NLP模型提供了新的思路。

🎯 应用场景

该研究成果可应用于各种自然语言处理任务，例如文本分类、情感分析、机器翻译等。通过提供更可靠的模型解释，可以增强用户对模型的信任，促进模型在医疗、金融等高风险领域的应用。此外，该研究还可以帮助开发者更好地理解和调试模型，从而提升模型的性能和鲁棒性。

📄 摘要（原文）

As machine learning becomes more widespread and is used in more critical applications, it's important to provide explanations for these models, to prevent unintended behavior. Unfortunately, many current interpretability methods struggle with faithfulness. Therefore, this Ph.D. thesis investigates the question "How to provide and ensure faithful explanations for complex general-purpose neural NLP models?" The main thesis is that we should develop new paradigms in interpretability. This is achieved by first developing solid faithfulness metrics and then applying the lessons learned from this investigation to develop new paradigms. The two new paradigms explored are faithfulness measurable models (FMMs) and self-explanations. The idea in self-explanations is to have large language models explain themselves, we identify that current models are not capable of doing this consistently. However, we suggest how this could be achieved. The idea of FMMs is to create models that are designed such that measuring faithfulness is cheap and precise. This makes it possible to optimize an explanation towards maximum faithfulness, which makes FMMs designed to be explained. We find that FMMs yield explanations that are near theoretical optimal in terms of faithfulness. Overall, from all investigations of faithfulness, results show that post-hoc and intrinsic explanations are by default model and task-dependent. However, this was not the case when using FMMs, even with the same post-hoc explanation methods. This shows, that even simple modifications to the model, such as randomly masking the training dataset, as was done in FMMs, can drastically change the situation and result in consistently faithful explanations. This answers the question of how to provide and ensure faithful explanations.