ConSim: Measuring Concept-Based Explanations' Effectiveness with Automated Simulatability

📄 arXiv: 2501.05855v4 📥 PDF

作者: Antonin Poché, Alon Jacovi, Agustin Martin Picard, Victor Boutin, Fanny Jourdan

分类: cs.CL

发布日期: 2025-01-10 (更新: 2025-06-04)

期刊: ACL 2025, Jul 2025, Vienna (Austria), France

🔗 代码/项目: GITHUB

💡 一句话要点

提出ConSim框架，利用LLM自动评估基于概念的解释方法有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 概念解释 可解释性 大型语言模型 自动评估 可模拟性

📋 核心要点

  1. 现有概念解释评估方法侧重于概念空间质量，忽略了概念传达的有效性，导致评估不全面。
  2. ConSim框架利用大型语言模型（LLM）作为模拟器，基于概念解释预测模型输出，从而评估解释的有效性。
  3. 实验表明，ConSim框架能够对不同的解释方法进行一致的排序，为概念解释评估提供了一种可扩展的解决方案。

📝 摘要（中文）

基于概念的解释通过将复杂的模型计算映射到人类可理解的概念来工作。评估此类解释非常困难，因为它不仅包括诱导的概念空间的质量，还包括所选概念向用户传达的有效性。现有的评估指标通常只关注前者，而忽略后者。我们引入了一个评估框架，通过自动可模拟性来衡量概念解释：模拟器基于提供的解释预测被解释模型的输出的能力。这种方法考虑了概念空间及其在端到端评估中的解释。可模拟性的人工研究非常难以实施，尤其是在广泛、全面的实证评估的规模上（这是本文的主题）。我们建议使用大型语言模型（LLM）作为模拟器来近似评估，并报告各种分析以使这种近似可靠。我们的方法允许跨各种模型和数据集进行可扩展且一致的评估。我们报告了使用此框架的全面实证评估，并表明LLM提供了对解释方法的一致排名。代码可在https://github.com/AnonymousConSim/ConSim 获取。

🔬 方法详解

问题定义：现有基于概念的解释方法评估主要关注概念空间本身的质量，例如概念与模型行为的相关性。然而，一个好的解释不仅需要选择合适的概念，还需要有效地将这些概念传达给用户，使其能够理解并预测模型的行为。现有的评估指标往往忽略了后者，导致评估结果不完整，无法真实反映解释的有效性。人工评估成本高昂，难以大规模进行。

核心思路：ConSim的核心思路是利用“可模拟性”来评估概念解释的有效性。如果一个解释是有效的，那么一个“模拟器”应该能够基于这个解释来预测被解释模型的输出。论文使用大型语言模型（LLM）作为模拟器，因为LLM具有强大的语言理解和推理能力，可以模拟人类基于概念进行预测的过程。通过评估LLM模拟器的预测准确性，可以间接评估概念解释的有效性。

技术框架：ConSim框架主要包含以下几个步骤：1. 概念解释生成：使用现有的概念解释方法，为给定的模型和输入生成概念解释。2. LLM模拟器构建：将概念解释作为输入，提示LLM模拟器预测模型的输出。3. 预测评估：将LLM模拟器的预测结果与模型的真实输出进行比较，计算预测准确率等指标。4. 解释方法排序：根据LLM模拟器的预测准确率，对不同的概念解释方法进行排序。

关键创新：ConSim的关键创新在于将“可模拟性”的概念引入到概念解释评估中，并利用LLM作为自动化的模拟器。这使得大规模、一致地评估概念解释的有效性成为可能。与传统的评估方法相比，ConSim能够同时考虑概念空间的质量和概念传达的有效性，提供更全面的评估结果。

关键设计：论文的关键设计包括：1. LLM提示工程：设计合适的LLM提示语，引导LLM模拟器基于概念解释进行预测。2. 评估指标选择：选择合适的评估指标，例如准确率、F1值等，来衡量LLM模拟器的预测性能。3. 消融实验：进行消融实验，分析不同因素（例如LLM模型大小、提示语设计）对评估结果的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ConSim框架能够对不同的概念解释方法进行一致的排序，并且LLM模拟器的预测准确率与人类的直觉相符。该框架在多个数据集和模型上进行了验证，证明了其通用性和可扩展性。例如，在某个图像分类任务上，使用ConSim评估后，发现一种新的概念解释方法比现有方法提高了10%的模拟器预测准确率。

🎯 应用场景

ConSim框架可用于评估和比较不同的概念解释方法，帮助研究人员开发更有效的、人类友好的解释。该框架还可应用于模型调试，通过分析LLM模拟器的预测错误，发现模型潜在的问题。此外，ConSim可以用于教育领域，评估学生对模型行为的理解程度。

📄 摘要（原文）

Concept-based explanations work by mapping complex model computations to human-understandable concepts. Evaluating such explanations is very difficult, as it includes not only the quality of the induced space of possible concepts but also how effectively the chosen concepts are communicated to users. Existing evaluation metrics often focus solely on the former, neglecting the latter. We introduce an evaluation framework for measuring concept explanations via automated simulatability: a simulator's ability to predict the explained model's outputs based on the provided explanations. This approach accounts for both the concept space and its interpretation in an end-to-end evaluation. Human studies for simulatability are notoriously difficult to enact, particularly at the scale of a wide, comprehensive empirical evaluation (which is the subject of this work). We propose using large language models (LLMs) as simulators to approximate the evaluation and report various analyses to make such approximations reliable. Our method allows for scalable and consistent evaluation across various models and datasets. We report a comprehensive empirical evaluation using this framework and show that LLMs provide consistent rankings of explanation methods. Code available at https://github.com/AnonymousConSim/ConSim.