Transparent Neighborhood Approximation for Text Classifier Explanation

📄 arXiv: 2411.16251v1 📥 PDF

作者: Yi Cai, Arthur Zimek, Eirini Ntoutsi, Gerhard Wunder

分类: cs.CL, cs.LG

发布日期: 2024-11-25

备注: IEEE DSAA'24

💡 一句话要点

提出XPROB，一种基于概率编辑的透明文本分类器解释方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 文本分类解释 模型可解释性 邻域构建 概率编辑 透明性 文本生成 XPROB

📋 核心要点

  1. 现有文本分类器解释方法依赖生成模型构建邻域，但生成模型的黑盒性降低了解释的透明度。
  2. 论文提出XPROB，使用基于概率的编辑方法生成邻近文本，替代黑盒生成器，提高了解释过程的透明性。
  3. 实验表明，XPROB在保持竞争性性能的同时，相比基于生成器的解释器展现出更优越的稳定性。

📝 摘要（中文）

本文关注文本分类器解释中邻域构建的关键作用，以及生成模型在合成高质量实例方面的应用趋势。现有方法虽利用生成模型提升了解释质量，但其黑盒特性引发了解释过程透明性的质疑。为解决此问题，同时保持邻域质量，本文提出了一种基于概率的编辑方法，替代黑盒文本生成器。该方法通过基于文本上下文的编辑操作生成邻近文本。所提出的解释方法XPROB（explainer with probability-based editing）通过递归概率编辑取代了基于生成器的构建过程，在两个真实数据集上的评估结果表明其性能具有竞争力。此外，XPROB完全透明且更可控的构建过程使其相比基于生成器的解释器具有更优越的稳定性。

🔬 方法详解

问题定义：现有基于生成模型的文本分类器解释方法，虽然能够生成高质量的邻域样本，但是由于生成模型（通常是神经网络）本身的不可解释性，导致整个解释过程缺乏透明度。用户难以理解邻域样本是如何生成的，从而对解释结果的可靠性产生质疑。因此，需要一种更透明的邻域构建方法，在保证解释质量的同时，提高解释过程的可信度。

核心思路：论文的核心思路是使用基于概率的文本编辑方法来生成邻域样本，替代现有的黑盒生成模型。具体来说，通过分析文本的上下文信息，计算每个词被替换、插入或删除的概率，然后根据这些概率对原始文本进行编辑，从而生成邻域样本。这种方法的核心优势在于其透明性和可控性，用户可以清晰地了解每个邻域样本是如何生成的。

技术框架：XPROB的整体框架可以概括为以下几个步骤：1. 上下文分析：分析原始文本的上下文信息，例如词性、句法结构等。2. 概率计算：基于上下文信息，计算每个词被替换、插入或删除的概率。3. 文本编辑：根据计算出的概率，对原始文本进行编辑，生成邻域样本。4. 解释生成：使用生成的邻域样本，计算每个特征对分类结果的影响，从而生成解释。XPROB采用递归的方式进行概率编辑，即每次编辑后，重新计算概率并进行下一次编辑，直到生成足够数量的邻域样本。

关键创新：XPROB最重要的技术创新点在于使用基于概率的文本编辑方法来构建邻域，替代了现有的黑盒生成模型。这种方法不仅提高了邻域构建的透明度，还使得用户可以更好地控制邻域样本的生成过程。与现有方法相比，XPROB的本质区别在于其解释过程的透明性和可控性。

关键设计：XPROB的关键设计包括：1. 概率计算方法：论文提出了一种基于上下文信息的概率计算方法，该方法考虑了词性、句法结构等多种因素，从而更准确地估计每个词被编辑的概率。2. 编辑操作：XPROB支持三种编辑操作：替换、插入和删除。每种操作都有相应的概率计算方法。3. 递归编辑：XPROB采用递归的方式进行编辑，每次编辑后，重新计算概率并进行下一次编辑，直到生成足够数量的邻域样本。4. 停止条件：需要设置停止条件来控制递归编辑的次数，避免过度编辑导致邻域样本与原始文本差异过大。

📊 实验亮点

实验结果表明，XPROB在两个真实数据集上取得了与基于生成器的解释器具有竞争力的性能。更重要的是，XPROB展现出更优越的稳定性，这意味着其解释结果更加可靠。由于XPROB的透明性，用户可以更好地理解其解释结果，从而提高对模型的信任度。

🎯 应用场景

XPROB可应用于各种需要解释性的文本分类场景，例如情感分析、垃圾邮件检测、新闻分类等。其透明的解释过程有助于用户理解模型的决策依据，提高对模型的信任度。此外，XPROB的可控性使得用户可以根据实际需求调整邻域样本的生成方式，从而获得更符合需求的解释结果。未来，XPROB可以进一步扩展到其他类型的文本任务，例如文本摘要、机器翻译等。

📄 摘要（原文）

Recent literature highlights the critical role of neighborhood construction in deriving model-agnostic explanations, with a growing trend toward deploying generative models to improve synthetic instance quality, especially for explaining text classifiers. These approaches overcome the challenges in neighborhood construction posed by the unstructured nature of texts, thereby improving the quality of explanations. However, the deployed generators are usually implemented via neural networks and lack inherent explainability, sparking arguments over the transparency of the explanation process itself. To address this limitation while preserving neighborhood quality, this paper introduces a probability-based editing method as an alternative to black-box text generators. This approach generates neighboring texts by implementing manipulations based on in-text contexts. Substituting the generator-based construction process with recursive probability-based editing, the resultant explanation method, XPROB (explainer with probability-based editing), exhibits competitive performance according to the evaluation conducted on two real-world datasets. Additionally, XPROB's fully transparent and more controllable construction process leads to superior stability compared to the generator-based explainers.