Can Large Language Models Explain Themselves? A Study of LLM-Generated Self-Explanations
作者: Shiyuan Huang, Siddarth Mamidanna, Shreedhar Jangam, Yilun Zhou, Leilani H. Gilpin
分类: cs.CL, cs.LG
发布日期: 2023-10-17
💡 一句话要点
研究大型语言模型自我解释能力以提升可解释性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 自我解释 情感分析 可解释性 自然语言处理 模型评估
📋 核心要点
- 现有的解释方法在生成自我解释时存在高成本和一致性不足的问题。
- 论文通过研究不同的自我解释生成方式，评估其在情感分析中的有效性，提出了一种新的评估框架。
- 实验结果显示，ChatGPT生成的自我解释在性能上与传统方法相当，但生成成本更低，且具有不同的特征。
📝 摘要（中文）
大型语言模型（LLMs）如ChatGPT在多种自然语言处理任务中表现优异，包括情感分析、数学推理和摘要生成。由于这些模型经过人类对话的指令调优，能够生成“有帮助”的响应，因此它们常常会输出自我解释。本文探讨了这些自动生成的自我解释在情感分析任务中的有效性，并与传统的解释方法（如遮挡法或LIME显著性图）进行了比较。实验结果表明，ChatGPT的自我解释在性能上与传统方法相当，但在一致性度量上存在显著差异，同时生成成本更低。研究还揭示了自我解释的一些有趣特征，促使我们重新思考当前模型可解释性实践。
🔬 方法详解
问题定义：本文旨在解决大型语言模型生成的自我解释的有效性问题，现有方法在生成自我解释时往往成本高且一致性不足。
核心思路：通过对不同自我解释生成方式的研究，评估其在情感分析任务中的表现，提出了一种新的评估框架，以便更好地理解模型的可解释性。
技术框架：整体架构包括自我解释生成模块、评估指标模块和对比实验模块，分别负责生成自我解释、评估其有效性和与传统方法的比较。
关键创新：最重要的技术创新在于提出了一种新的自我解释生成方式，并通过大量实验验证其在情感分析中的有效性，与传统方法相比具有更低的生成成本和不同的特征。
关键设计：在实验中，设置了多种评估指标，包括一致性度量、生成成本等，采用了与传统方法（如遮挡法和LIME）相对比的实验设计。通过这些设计，确保了评估的全面性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ChatGPT生成的自我解释在性能上与传统方法相当，且生成成本显著降低。具体而言，ChatGPT的自我解释在一致性度量上与传统方法存在显著差异，提示我们重新审视当前的可解释性实践。
🎯 应用场景
该研究的潜在应用领域包括情感分析、文本理解和人机交互等。通过提升大型语言模型的可解释性，可以增强用户对模型决策过程的信任，促进其在实际应用中的广泛采用。未来，随着模型可解释性研究的深入，该方法可能会在更多领域得到应用。
📄 摘要（原文）
Large language models (LLMs) such as ChatGPT have demonstrated superior performance on a variety of natural language processing (NLP) tasks including sentiment analysis, mathematical reasoning and summarization. Furthermore, since these models are instruction-tuned on human conversations to produce "helpful" responses, they can and often will produce explanations along with the response, which we call self-explanations. For example, when analyzing the sentiment of a movie review, the model may output not only the positivity of the sentiment, but also an explanation (e.g., by listing the sentiment-laden words such as "fantastic" and "memorable" in the review). How good are these automatically generated self-explanations? In this paper, we investigate this question on the task of sentiment analysis and for feature attribution explanation, one of the most commonly studied settings in the interpretability literature (for pre-ChatGPT models). Specifically, we study different ways to elicit the self-explanations, evaluate their faithfulness on a set of evaluation metrics, and compare them to traditional explanation methods such as occlusion or LIME saliency maps. Through an extensive set of experiments, we find that ChatGPT's self-explanations perform on par with traditional ones, but are quite different from them according to various agreement metrics, meanwhile being much cheaper to produce (as they are generated along with the prediction). In addition, we identified several interesting characteristics of them, which prompt us to rethink many current model interpretability practices in the era of ChatGPT(-like) LLMs.