Enhancing the Comprehensibility of Text Explanations via Unsupervised Concept Discovery

📄 arXiv: 2505.20293v1 📥 PDF

作者: Yifan Sun, Danding Wang, Qiang Sheng, Juan Cao, Jintao Li

分类: cs.CL

发布日期: 2025-05-26

备注: ACL 2025 Findings

💡 一句话要点

提出ECO-Concept框架，无需标注自动发现文本解释中的可理解概念。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释AI 文本解释 概念发现 无监督学习 大型语言模型

📋 核心要点

  1. 现有基于概念的文本解释方法依赖预定义标注或产生难以理解的概念，限制了其应用。
  2. ECO-Concept利用对象中心架构提取概念，并用大型语言模型评估概念的可理解性。
  3. 实验表明，ECO-Concept在多个任务中表现优异，并生成了更易于理解的概念。

📝 摘要（中文）

基于概念的可解释性方法在可解释人工智能领域崭露头角，因为它们能够以符合人类推理的方式解释模型。然而，它们在文本领域的应用仍然有限。大多数现有方法依赖于预定义的概念标注，无法发现未见过的概念，而其他无需监督地提取概念的方法通常会产生人类难以直观理解的解释，从而可能降低用户信任度。这些方法无法自动发现可理解的概念。为了解决这个问题，我们提出了ECO-Concept，一个本质上可解释的框架，无需概念标注即可发现可理解的概念。ECO-Concept首先利用以对象为中心的架构自动提取语义概念。然后，大型语言模型评估提取的概念的可理解性。最后，评估结果指导后续的模型微调，以获得更易于理解的解释。实验表明，我们的方法在不同的任务中取得了优异的性能。进一步的概念评估验证了ECO-Concept学习到的概念在可理解性方面超过了当前的同类方法。

🔬 方法详解

问题定义：现有基于概念的文本解释方法主要面临两个痛点：一是依赖人工标注的概念，无法发现新的、未知的概念；二是无监督方法提取的概念往往缺乏可解释性，人类难以理解，导致用户信任度降低。因此，如何自动发现并提取可理解的文本概念是亟待解决的问题。

核心思路：ECO-Concept的核心思路是结合对象中心架构和大型语言模型，实现无监督的概念发现和可理解性评估。首先，利用对象中心架构自动提取文本中的语义概念。然后，使用大型语言模型对这些概念的可理解性进行评估，并利用评估结果指导模型的微调，从而迭代优化提取的概念，使其更易于人类理解。

技术框架：ECO-Concept框架主要包含三个阶段：1) 概念提取：使用对象中心架构自动从文本中提取候选概念。2) 可理解性评估：利用大型语言模型对提取的候选概念进行可理解性评估，输出评估分数。3) 模型微调：根据大型语言模型的评估结果，对概念提取模型进行微调，优化概念提取过程，使其产生更易于理解的概念。

关键创新：ECO-Concept的关键创新在于将大型语言模型引入到概念可理解性的评估中，并利用评估结果指导模型的训练。这使得模型能够学习到更符合人类认知习惯的概念，从而提高了文本解释的可理解性和用户信任度。与现有方法相比，ECO-Concept无需人工标注，能够自动发现新的概念，并且能够保证提取的概念具有较高的可理解性。

关键设计：在概念提取阶段，具体采用何种对象中心架构（例如基于Transformer的模型）以及如何定义“对象”需要根据具体任务进行调整。可理解性评估阶段，需要选择合适的大型语言模型，并设计合理的评估指标（例如，基于困惑度或生成文本流畅度的指标）。模型微调阶段，可以使用强化学习或梯度下降等方法，根据大型语言模型的评估结果调整概念提取模型的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ECO-Concept在多个文本解释任务中取得了优异的性能，显著提高了概念的可理解性。通过与现有方法的对比，ECO-Concept在可理解性指标上取得了显著提升，验证了其有效性。具体的性能数据和提升幅度在论文中进行了详细的展示。

🎯 应用场景

ECO-Concept可应用于各种需要文本解释的场景，例如情感分析、文本分类、机器翻译等。通过提供更易于理解的解释，可以提高用户对AI系统的信任度，并促进人机协作。未来，该方法可以扩展到其他模态的数据，例如图像和视频，以实现更全面的可解释性。

📄 摘要（原文）

Concept-based explainable approaches have emerged as a promising method in explainable AI because they can interpret models in a way that aligns with human reasoning. However, their adaption in the text domain remains limited. Most existing methods rely on predefined concept annotations and cannot discover unseen concepts, while other methods that extract concepts without supervision often produce explanations that are not intuitively comprehensible to humans, potentially diminishing user trust. These methods fall short of discovering comprehensible concepts automatically. To address this issue, we propose \textbf{ECO-Concept}, an intrinsically interpretable framework to discover comprehensible concepts with no concept annotations. ECO-Concept first utilizes an object-centric architecture to extract semantic concepts automatically. Then the comprehensibility of the extracted concepts is evaluated by large language models. Finally, the evaluation result guides the subsequent model fine-tuning to obtain more understandable explanations. Experiments show that our method achieves superior performance across diverse tasks. Further concept evaluations validate that the concepts learned by ECO-Concept surpassed current counterparts in comprehensibility.