Does Using Counterfactual Help LLMs Explain Textual Importance in Classification?

📄 arXiv: 2510.04031v1 📥 PDF

作者: Nelvin Tan, James Asikin Cheung, Yu-Ching Shih, Dong Yang, Amol Salunkhe

分类: cs.CL, cs.AI

发布日期: 2025-10-05

备注: 8 pages, 2 figures

💡 一句话要点

研究反事实推理对LLM文本分类重要性解释能力的影响，并提出决策变化率评估框架。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 文本分类 可解释性 反事实推理 决策变化率

📋 核心要点

  1. 现有方法难以解释黑盒LLM的文本分类决策过程，且LLM调用成本高昂。
  2. 该研究探索了利用反事实推理来提升LLM识别关键分类词语的能力。
  3. 提出了决策变化率框架，用于量化重要词语对分类决策的影响，实验表明反事实推理有效。

📝 摘要（中文）

大型语言模型（LLM）因其在大型训练数据集和模型规模下涌现出的强大能力，在许多领域变得非常有用。最近，它们在文本分类任务中表现出非常高的效率，这促使人们需要解释LLM的决策。考虑到LLM的黑盒特性以及调用LLM的成本高昂等实际限制，我们研究了将反事实推理融入LLM推理如何影响LLM识别对其分类决策贡献最大的词语的能力。为此，我们引入了一个名为决策变化率的框架，该框架有助于量化分类中重要词语的重要性。我们的实验结果表明，使用反事实推理可能是有帮助的。

🔬 方法详解

问题定义：论文旨在解决如何解释大型语言模型（LLM）在文本分类任务中的决策过程，尤其是在LLM作为黑盒使用且调用成本较高的情况下。现有方法缺乏有效手段来识别影响LLM分类结果的关键文本片段，从而限制了模型的可解释性和可信度。

核心思路：论文的核心思路是利用反事实推理来增强LLM解释文本分类重要性的能力。通过构造反事实样本，即对原始输入进行微小修改（例如，替换或删除某些词语），观察LLM分类结果的变化，从而推断原始输入中哪些词语对最终决策起到了关键作用。这种方法模拟了“如果...会怎样”的因果推理过程，有助于揭示LLM的决策依据。

技术框架：论文提出的框架主要包含以下几个阶段：1) 原始文本输入LLM进行分类；2) 识别原始文本中的Top-K个词语；3) 针对每个Top-K词语，生成反事实样本（例如，通过删除该词语）；4) 将反事实样本输入LLM进行分类；5) 计算决策变化率（Decision Changing Rate, DCR），DCR定义为原始分类结果与反事实样本分类结果之间的差异，用于量化每个词语的重要性。

关键创新：论文的关键创新在于将反事实推理应用于LLM文本分类的可解释性研究，并提出了决策变化率（DCR）这一指标来量化词语的重要性。与传统的基于梯度或注意力机制的可解释性方法不同，该方法直接基于LLM的输出变化来推断词语的重要性，更贴近LLM的实际决策过程。

关键设计：论文的关键设计包括：1) Top-K词语的选择策略（如何确定哪些词语是潜在的重要词语）；2) 反事实样本的生成方式（如何修改原始输入以生成有效的反事实样本）；3) 决策变化率的计算方法（如何量化分类结果的变化）。具体的参数设置和损失函数等细节在论文中可能未详细描述，属于未知信息。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，使用反事实推理可以有效提升LLM识别关键分类词语的能力。论文提出了决策变化率（DCR）作为评估指标，并验证了其有效性。具体的性能数据和提升幅度在摘要中未提及，属于未知信息。未来的研究可以进一步探索不同的反事实生成策略和DCR计算方法。

🎯 应用场景

该研究成果可应用于多个领域，例如情感分析、垃圾邮件检测、新闻分类等。通过解释LLM的分类决策，可以提高用户对模型的信任度，并帮助开发者发现模型潜在的偏差和漏洞。此外，该方法还可以用于教育领域，帮助学生理解文本的关键信息。

📄 摘要（原文）

Large language models (LLMs) are becoming useful in many domains due to their impressive abilities that arise from large training datasets and large model sizes. More recently, they have been shown to be very effective in textual classification tasks, motivating the need to explain the LLMs' decisions. Motivated by practical constrains where LLMs are black-boxed and LLM calls are expensive, we study how incorporating counterfactuals into LLM reasoning can affect the LLM's ability to identify the top words that have contributed to its classification decision. To this end, we introduce a framework called the decision changing rate that helps us quantify the importance of the top words in classification. Our experimental results show that using counterfactuals can be helpful.