LLMs for XAI: Future Directions for Explaining Explanations

📄 arXiv: 2405.06064v1 📥 PDF

作者: Alexandra Zytek, Sara Pidò, Kalyan Veeramachaneni

分类: cs.AI, cs.CL, cs.HC, cs.LG

发布日期: 2024-05-09

💡 一句话要点

利用大型语言模型增强可解释AI解释，提升其可用性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释人工智能 大型语言模型 自然语言生成 模型解释 用户研究

📋 核心要点

  1. 现有XAI算法生成的解释结果往往难以被非专业人士理解，阻碍了其在实际场景中的应用。
  2. 该研究的核心思想是利用LLM将现有的XAI解释转化为更自然、更易于理解的文本描述，从而提升XAI的可用性。
  3. 初步实验和用户研究表明，使用LLM能够有效增强XAI解释的可解释性和可用性，具有良好的应用前景。

📝 摘要（中文）

为了响应对可解释人工智能（XAI）的需求，本文探讨了使用大型语言模型（LLM）将机器学习（ML）解释转化为自然、人类可读的叙述。研究重点不是直接使用LLM解释ML模型，而是改进使用现有XAI算法计算出的解释。文章概述了几个研究方向，包括定义评估指标、提示工程、比较LLM模型、探索进一步的训练方法以及整合外部数据。初步实验和用户研究表明，LLM为增强XAI的可解释性和可用性提供了一种有前景的方法。

🔬 方法详解

问题定义：现有XAI算法生成的解释通常是技术性的，例如特征重要性排序或梯度图，对于非专业人士来说难以理解和应用。这限制了XAI在实际场景中的应用，例如辅助决策、模型调试和建立用户信任。因此，需要一种方法将这些技术性的解释转化为更易于理解的形式。

核心思路：该研究的核心思路是利用大型语言模型（LLM）的自然语言生成能力，将现有的XAI解释作为输入，生成人类可读的文本描述。LLM可以理解XAI解释的含义，并将其转化为更简洁、更易于理解的语言，从而提高XAI的可用性。

技术框架：该研究的技术框架主要包括以下几个阶段：1) 使用现有的XAI算法（如SHAP、LIME等）生成模型解释；2) 将XAI解释作为提示（prompt）输入到LLM中；3) LLM根据提示生成自然语言解释；4) 对生成的解释进行评估和优化。研究还探讨了整合外部数据以增强解释的质量。

关键创新：该研究的关键创新在于将LLM应用于XAI解释的后处理，而不是直接使用LLM来解释模型。这种方法可以充分利用现有XAI算法的优势，同时利用LLM的自然语言生成能力来提高解释的可用性。与直接使用LLM解释模型相比，该方法更加灵活和可控。

关键设计：研究中涉及的关键设计包括：1) 如何设计有效的提示（prompt）来引导LLM生成高质量的解释；2) 如何选择合适的LLM模型；3) 如何定义评估指标来衡量解释的质量；4) 如何利用外部数据来增强解释的上下文信息。此外，还探讨了如何对LLM进行微调，以更好地适应XAI解释的任务。

📊 实验亮点

初步实验和用户研究表明，使用LLM能够显著提高XAI解释的可解释性和可用性。用户反馈表明，经过LLM处理的解释更容易理解，并且能够帮助他们更好地理解模型的决策过程。虽然论文中没有提供具体的性能数据，但用户研究的结果表明了该方法的有效性。

🎯 应用场景

该研究成果可广泛应用于需要可解释AI的领域，例如金融风控、医疗诊断、自动驾驶等。通过将复杂的模型决策转化为易于理解的自然语言解释，可以帮助用户更好地理解模型的行为，建立信任，并做出更明智的决策。此外，该方法还可以用于模型调试和改进，提高模型的可靠性和公平性。

📄 摘要（原文）

In response to the demand for Explainable Artificial Intelligence (XAI), we investigate the use of Large Language Models (LLMs) to transform ML explanations into natural, human-readable narratives. Rather than directly explaining ML models using LLMs, we focus on refining explanations computed using existing XAI algorithms. We outline several research directions, including defining evaluation metrics, prompt design, comparing LLM models, exploring further training methods, and integrating external data. Initial experiments and user study suggest that LLMs offer a promising way to enhance the interpretability and usability of XAI.