A Methodology for Explainable Large Language Models with Integrated Gradients and Linguistic Analysis in Text Classification

📄 arXiv: 2410.00250v1 📥 PDF

作者: Marina Ribeiro, Bárbara Malcorra, Natália B. Mota, Rodrigo Wilkens, Aline Villavicencio, Lilian C. Hubner, César Rennó-Costa

分类: cs.CL

发布日期: 2024-09-30

备注: 27 pages, 6 figures, authors Marina Ribeiro and Bárbara Malcorra have equal contribution, César Rennó-Costa is the corresponding author

💡 一句话要点

提出SLIME方法，结合IG和语言分析提升LLM在文本分类中的可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性AI 大型语言模型 文本分类 集成梯度 语言学分析 神经系统疾病 阿尔茨海默病

📋 核心要点

  1. 现有LLM在识别神经系统疾病的语音特征时缺乏可解释性，难以提供明确的决策依据。
  2. SLIME方法结合集成梯度、语言分析和统计方法，识别对LLM决策重要的词汇特征。
  3. 实验表明，SLIME能有效识别AD患者社交参考减少的词汇，并提升LLM分类准确性。

📝 摘要（中文）

本研究针对大型语言模型(LLM)在文本分类任务中缺乏可解释性的问题，提出了一种名为SLIME（Statistical and Linguistic Insights for Model Explanation）的可解释LLM方法。该方法旨在识别神经系统疾病（如阿尔茨海默病AD）患者语音中具有代表性的词汇特征，并解释这些特征对LLM决策的重要性。研究使用Cookie Theft图片描述任务的英语数据集，利用BERT模型将文本描述分类为AD组或对照组。SLIME方法通过集成梯度(IG)、语言调查和词计数(LIWC)以及统计分析的流程，识别出与AD相关的代表性词汇特征，并确定其对模型决策的影响。实验结果表明，BERT模型利用了反映AD患者社交参考减少的词汇成分，并且SLIME能够进一步提高LLM的准确性。该方法为LLM在神经系统临床环境中的应用提供了一种可解释性工具，增强了对神经退行性疾病研究的信心。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在文本分类任务中缺乏可解释性的问题，尤其是在神经系统疾病诊断等敏感领域。现有LLM虽然能有效识别疾病特征，但无法提供清晰的决策依据，导致用户难以信任和理解模型的判断。这限制了LLM在临床实践中的应用。

核心思路：论文的核心思路是结合集成梯度（IG）等可解释性技术与语言学分析方法，构建一个能够识别关键词汇特征并解释其对模型决策影响的框架。通过分析模型关注的词汇，并结合语言学知识，为模型的预测提供更具意义的解释，从而提高模型的可信度和可用性。

技术框架：SLIME方法的技术框架包含以下几个主要阶段：1) 使用BERT模型进行文本分类（AD组或对照组）；2) 利用集成梯度（IG）计算每个词汇对模型预测结果的影响；3) 使用语言调查和词计数（LIWC）工具进行语言学分析，提取文本的语言特征；4) 结合IG结果和LIWC特征，进行统计分析，识别与疾病相关的关键词汇特征，并评估其对模型决策的重要性。

关键创新：该方法最重要的创新点在于将集成梯度（一种后验解释方法）与语言学分析相结合，为LLM的决策提供更具语义和临床意义的解释。与传统的黑盒模型相比，SLIME能够揭示模型关注的词汇特征，并解释这些特征与疾病之间的关联，从而提高模型的可解释性和可信度。

关键设计：在具体实现上，论文可能涉及以下关键设计：1) 集成梯度的计算方式，包括积分路径的选择和梯度计算的精度；2) LIWC工具的使用，包括选择哪些语言特征进行分析；3) 统计分析方法，例如使用t检验或方差分析来评估不同词汇特征在AD组和对照组之间的差异；4) 如何将IG结果和LIWC特征进行有效整合，以提供全面的解释。

📊 实验亮点

该研究通过实验验证了SLIME方法在识别阿尔茨海默病（AD）相关词汇特征方面的有效性。实验结果表明，BERT模型利用了反映AD患者社交参考减少的词汇成分，并且SLIME能够进一步提高LLM的准确性。具体性能数据（如准确率、召回率等）和对比基线（如其他可解释性方法）的具体提升幅度未知，需要在论文中查找。

🎯 应用场景

该研究成果可应用于神经系统疾病的早期诊断和辅助治疗，例如阿尔茨海默病、帕金森病等。通过分析患者的语音或文本数据，识别疾病相关的语言特征，为临床医生提供客观的诊断依据。此外，该方法还可用于评估治疗效果，监测病情进展，并为患者提供个性化的康复方案。未来，该方法有望推广到其他疾病的诊断和治疗领域，提升医疗服务的智能化水平。

📄 摘要（原文）

Neurological disorders that affect speech production, such as Alzheimer's Disease (AD), significantly impact the lives of both patients and caregivers, whether through social, psycho-emotional effects or other aspects not yet fully understood. Recent advancements in Large Language Model (LLM) architectures have developed many tools to identify representative features of neurological disorders through spontaneous speech. However, LLMs typically lack interpretability, meaning they do not provide clear and specific reasons for their decisions. Therefore, there is a need for methods capable of identifying the representative features of neurological disorders in speech and explaining clearly why these features are relevant. This paper presents an explainable LLM method, named SLIME (Statistical and Linguistic Insights for Model Explanation), capable of identifying lexical components representative of AD and indicating which components are most important for the LLM's decision. In developing this method, we used an English-language dataset consisting of transcriptions from the Cookie Theft picture description task. The LLM Bidirectional Encoder Representations from Transformers (BERT) classified the textual descriptions as either AD or control groups. To identify representative lexical features and determine which are most relevant to the model's decision, we used a pipeline involving Integrated Gradients (IG), Linguistic Inquiry and Word Count (LIWC), and statistical analysis. Our method demonstrates that BERT leverages lexical components that reflect a reduction in social references in AD and identifies which further improve the LLM's accuracy. Thus, we provide an explainability tool that enhances confidence in applying LLMs to neurological clinical contexts, particularly in the study of neurodegeneration.