LLMs for Explainable AI: A Comprehensive Survey

📄 arXiv: 2504.00125v1 📥 PDF

作者: Ahsan Bilal, David Ebert, Beiyu Lin

分类: cs.AI, cs.CL

发布日期: 2025-03-31

备注: This manuscript is intended for submission to ACM Transactions on Intelligent Systems and Technology

💡 一句话要点

综述：利用大型语言模型提升可解释性人工智能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 可解释性人工智能 自然语言生成 模型解释 综述 深度学习 AI信任

📋 核心要点

  1. 现有AI模型缺乏透明度，难以解释其决策过程，导致用户信任度低，影响决策效果。
  2. 利用大型语言模型（LLMs）将复杂的模型输出转化为人类可理解的解释，提升模型的可解释性。
  3. 该综述全面考察了LLM在XAI中的应用，分析了现有方法的挑战与局限，并展望了未来发展方向。

📝 摘要（中文）

大型语言模型（LLMs）通过将复杂的机器学习输出转化为易于理解的叙述，为增强可解释性人工智能（XAI）提供了一种有前景的方法。这使得模型预测对用户更易于理解，并有助于弥合复杂模型行为与人类可解释性之间的差距。由于缺乏透明度，诸如最先进的神经网络和深度学习模型等AI模型通常被视为“黑盒”。由于用户无法完全理解模型如何得出结论，因此难以信任AI模型的决策，从而导致决策过程效率降低、责任感降低以及潜在偏差不明确。开发可解释的AI（XAI）模型以获得用户的信任并深入了解模型如何生成其输出成为一项挑战。随着大型语言模型的发展，我们希望探索使用基于人类语言的模型LLM来实现模型可解释性的可能性。本综述全面概述了现有的LLM for XAI方法、LLM生成解释的评估技术，讨论了相应的挑战和局限性，并考察了实际应用。最后，我们通过强调需要更可解释、自动化、以用户为中心和多学科的方法来实现通过LLM的XAI，来讨论未来的方向。

🔬 方法详解

问题定义：现有AI模型，特别是深度学习模型，通常被视为“黑盒”，缺乏透明度，用户难以理解模型的决策过程。这导致用户对模型的信任度降低，影响了决策的有效性，并可能引入潜在的偏见。因此，如何提升AI模型的可解释性，让用户理解模型是如何做出预测的，成为了一个重要的研究问题。

核心思路：本综述的核心思路是探索利用大型语言模型（LLMs）来增强可解释性人工智能（XAI）。LLMs具备强大的自然语言生成能力，可以将复杂的模型输出转化为易于理解的叙述，从而弥合模型行为与人类理解之间的差距。通过将模型预测转化为人类可理解的语言，可以提高用户对模型的信任度，并促进更有效的决策。

技术框架：该综述没有提出新的技术框架，而是对现有利用LLMs进行XAI的方法进行了全面的梳理和总结。它考察了不同的LLM应用方式，例如使用LLMs生成解释文本、使用LLMs进行模型调试等。同时，该综述还讨论了评估LLM生成解释的各种技术，以及LLM在XAI中面临的挑战和局限性。

关键创新：该综述的关键创新在于它首次对LLMs在XAI领域的应用进行了全面的综述。它系统地整理了现有的研究成果，并对未来的发展方向进行了展望。这为研究人员提供了一个有价值的参考，帮助他们更好地了解LLMs在XAI中的潜力和挑战。

关键设计：由于这是一篇综述文章，因此没有涉及具体的模型设计细节。但是，该综述讨论了不同的LLM应用方式，例如使用prompt engineering来引导LLM生成更准确、更易于理解的解释。此外，该综述还强调了用户中心设计的重要性，认为XAI系统应该根据用户的需求和背景来定制解释。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述全面梳理了LLMs在XAI领域的应用，总结了现有方法的优缺点，并指出了未来研究方向，例如更可解释、自动化、以用户为中心和多学科的XAI方法。该综述为研究人员提供了一个有价值的参考，有助于推动LLMs在XAI领域的进一步发展。

🎯 应用场景

该研究成果可应用于各种需要可解释AI的领域，例如医疗诊断、金融风险评估、自动驾驶等。通过提供易于理解的解释，可以帮助医生、金融分析师和驾驶员更好地理解AI模型的决策，从而做出更明智的决策。此外，该研究还有助于提高公众对AI的信任度，促进AI技术的更广泛应用。

📄 摘要（原文）

Large Language Models (LLMs) offer a promising approach to enhancing Explainable AI (XAI) by transforming complex machine learning outputs into easy-to-understand narratives, making model predictions more accessible to users, and helping bridge the gap between sophisticated model behavior and human interpretability. AI models, such as state-of-the-art neural networks and deep learning models, are often seen as "black boxes" due to a lack of transparency. As users cannot fully understand how the models reach conclusions, users have difficulty trusting decisions from AI models, which leads to less effective decision-making processes, reduced accountabilities, and unclear potential biases. A challenge arises in developing explainable AI (XAI) models to gain users' trust and provide insights into how models generate their outputs. With the development of Large Language Models, we want to explore the possibilities of using human language-based models, LLMs, for model explainabilities. This survey provides a comprehensive overview of existing approaches regarding LLMs for XAI, and evaluation techniques for LLM-generated explanation, discusses the corresponding challenges and limitations, and examines real-world applications. Finally, we discuss future directions by emphasizing the need for more interpretable, automated, user-centric, and multidisciplinary approaches for XAI via LLMs.