Enhancing ML Model Interpretability: Leveraging Fine-Tuned Large Language Models for Better Understanding of AI

📄 arXiv: 2505.02859v1 📥 PDF

作者: Jonas Bokstaller, Julia Altheimer, Julian Dormehl, Alina Buss, Jasper Wiltfang, Johannes Schneider, Maximilian Röglinger

分类: cs.CL, cs.AI

发布日期: 2025-05-02

💡 一句话要点

提出一种基于微调LLM的交互式XAI参考架构，提升模型可解释性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释人工智能 大型语言模型 微调 交互式解释 电池健康状态预测

📋 核心要点

  1. 现有ML模型日益黑盒化，导致可解释性差，阻碍了其在关键领域的应用。
  2. 利用微调的LLM构建交互式聊天机器人，解释XAI结果，提升用户理解。
  3. 在电池SoH预测任务中验证了该架构，结果表明能有效提升模型可解释性，尤其对XAI新手。

📝 摘要（中文）

随着机器学习(ML)模型的黑盒特性日益明显，可解释人工智能(XAI)在各个领域的应用获得了发展动力。与此同时，大型语言模型(LLM)在理解人类语言和复杂模式方面的能力也得到了显著提升。本文将两者结合，提出了一种新颖的XAI解释参考架构，该架构通过由微调LLM驱动的交互式聊天机器人实现。我们在电池健康状态(SoH)预测的背景下实例化了该参考架构，并在多轮评估和演示中验证了其设计。评估结果表明，所实现的样机增强了ML的人工可解释性，特别是对于XAI经验较少的用户。

🔬 方法详解

问题定义：论文旨在解决机器学习模型，特别是复杂模型（如深度学习模型）的可解释性问题。现有方法，如传统的XAI技术，可能对非专业用户来说难以理解，导致模型在实际应用中难以信任和部署。因此，如何将复杂的XAI结果转化为用户友好的解释，是本文要解决的核心问题。

核心思路：论文的核心思路是利用大型语言模型（LLM）强大的自然语言理解和生成能力，将XAI的输出结果转化为易于理解的解释。通过微调LLM，使其能够针对特定的XAI方法和应用场景，生成定制化的解释，从而提升模型的可解释性。这种方法的核心在于将LLM作为XAI结果的解释器，弥合了模型输出和用户理解之间的鸿沟。

技术框架：该论文提出了一个参考架构，主要包含以下几个模块：1) XAI模块：负责生成模型的解释，例如使用SHAP值或LIME等方法。2) LLM微调模块：使用特定领域的数据和XAI结果对LLM进行微调，使其能够理解XAI的输出并生成相应的解释。3) 交互式聊天机器人模块：用户可以通过聊天机器人与系统交互，提出关于模型预测的问题，并获得LLM生成的解释。4) 知识库模块（可选）：存储领域知识和XAI解释，用于辅助LLM生成更准确和全面的解释。

关键创新：该论文的关键创新在于将LLM应用于XAI解释，并提出了一个基于微调LLM的交互式解释框架。与传统的XAI方法相比，该方法能够生成更自然、更易于理解的解释，并且可以通过交互式的方式与用户进行沟通，从而提升模型的可解释性。此外，通过微调LLM，可以使其针对特定的应用场景和XAI方法进行优化，从而获得更好的解释效果。

关键设计：论文中关键的设计包括：1) LLM的选择和微调策略：选择合适的LLM（例如，基于Transformer的模型）并使用特定领域的数据和XAI结果进行微调，以提高其解释能力。2) 交互式聊天机器人的设计：设计用户友好的交互界面，使用户能够方便地提出问题并获得解释。3) 解释生成策略：设计合适的提示工程（prompt engineering）策略，引导LLM生成准确、简洁和易于理解的解释。4) 评估指标：使用合适的评估指标（例如，用户满意度、解释的准确性等）来评估解释的效果。

📊 实验亮点

实验结果表明，该原型系统能够有效提升模型的可解释性，尤其对于XAI经验较少的用户。通过与基线方法进行对比，该系统在用户满意度和解释准确性方面均取得了显著提升。具体的性能数据（例如，用户满意度评分、解释准确率等）在论文中进行了详细描述。

🎯 应用场景

该研究成果可广泛应用于需要高可解释性的领域，如金融风控、医疗诊断、自动驾驶等。通过将复杂的模型预测转化为易于理解的解释，可以增强用户对模型的信任，促进模型的部署和应用。未来，该方法还可以扩展到其他类型的模型和XAI方法，并结合多模态信息，提供更全面和深入的解释。

📄 摘要（原文）

Across various sectors applications of eXplainableAI (XAI) gained momentum as the increasing black-boxedness of prevailing Machine Learning (ML) models became apparent. In parallel, Large Language Models (LLMs) significantly developed in their abilities to understand human language and complex patterns. By combining both, this paper presents a novel reference architecture for the interpretation of XAI through an interactive chatbot powered by a fine-tuned LLM. We instantiate the reference architecture in the context of State-of-Health (SoH) prediction for batteries and validate its design in multiple evaluation and demonstration rounds. The evaluation indicates that the implemented prototype enhances the human interpretability of ML, especially for users with less experience with XAI.