JoPA:Explaining Large Language Model's Generation via Joint Prompt Attribution

📄 arXiv: 2405.20404v3 📥 PDF

作者: Yurui Chang, Bochuan Cao, Yujia Wang, Jinghui Chen, Lu Lin

分类: cs.CL, cs.LG

发布日期: 2024-05-30 (更新: 2025-09-16)

备注: Accepted to ACL 2025 (Main)

DOI: 10.18653/v1/2025.acl-long.1074

💡 一句话要点

提出JoPA框架，通过联合提示归因解释大型语言模型生成结果的影响因素。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 可解释性 提示工程 联合提示归因 反事实解释

📋 核心要点

  1. 现有方法在解释LLM生成结果时，通常局限于分类或下一个词预测，无法解释整个生成过程。
  2. JoPA框架通过联合提示归因，将提示归因任务形式化为组合优化问题，寻找影响生成的关键提示组合。
  3. 实验结果表明，JoPA框架生成的解释具有较高的忠实性和效率，能够有效解释LLM的生成行为。

📝 摘要（中文）

大型语言模型(LLMs)在复杂的文本生成任务中表现出了令人印象深刻的性能。然而，输入提示对生成内容的贡献对于人类来说仍然不明确，这突显了理解输入和输出对之间因果关系的必要性。现有的提供提示特定解释的工作通常将模型输出限制为分类或下一个词预测。少数旨在解释整个语言生成的初步尝试通常独立地对待输入提示文本，忽略了它们对后续生成的组合效应。在本研究中，我们介绍了一个基于联合提示归因(Joint Prompt Attribution, JoPA)的反事实解释框架，旨在解释一些提示文本如何协同影响LLM的完整生成。特别地，我们将生成解释的提示归因任务形式化为一个组合优化问题，并引入了一种概率算法来搜索离散空间中的因果输入组合。我们定义并利用多个指标来评估生成的解释，证明了我们框架的忠实性和效率。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）生成结果的可解释性问题，特别是输入提示对生成结果的影响。现有方法通常独立分析每个提示的作用，忽略了它们之间的组合效应，并且大多集中于分类或下一个词预测任务，无法解释整个生成过程。因此，如何理解多个提示共同作用下LLM的生成行为是一个重要的挑战。

核心思路：论文的核心思路是将提示归因问题视为一个组合优化问题。通过寻找对生成结果影响最大的提示组合，来解释LLM的生成行为。这种方法考虑了提示之间的相互作用，能够更全面地理解输入对输出的影响。论文采用反事实解释的思路，即通过移除或改变某些提示，观察生成结果的变化，从而推断这些提示的重要性。

技术框架：JoPA框架主要包含以下几个阶段：1) 问题形式化：将提示归因问题定义为一个组合优化问题，目标是找到对生成结果影响最大的提示子集。2) 搜索算法：采用一种概率算法在离散的提示组合空间中进行搜索，寻找最优的提示组合。该算法可能基于蒙特卡洛树搜索或其他类似的概率搜索策略。3) 评估指标：定义了多个指标来评估生成的解释的质量，包括忠实性（faithfulness）和效率（efficiency）。忠实性衡量解释与实际生成结果的一致性，效率衡量搜索算法的计算成本。

关键创新：JoPA框架的关键创新在于其联合提示归因的思想，即考虑了多个提示之间的组合效应。与现有方法独立分析每个提示不同，JoPA能够发现对生成结果有协同作用的提示组合。此外，将提示归因问题形式化为组合优化问题，并采用概率算法进行搜索，为解决该问题提供了一种新的思路。

关键设计：论文中可能包含以下关键设计细节：1) 概率搜索算法的具体实现：例如，采用蒙特卡洛树搜索时，需要定义状态空间、动作空间、转移函数和奖励函数。2) 评估指标的具体定义：例如，忠实性可以通过计算原始生成结果与移除关键提示后的生成结果之间的相似度来衡量。3) 反事实生成策略：如何移除或改变提示，并生成新的结果，例如，可以使用特殊的token替换移除的提示，或者使用其他方法对提示进行修改。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了JoPA框架的有效性。实验结果表明，JoPA能够找到对生成结果影响最大的提示组合，并且生成的解释具有较高的忠实性和效率。具体的性能数据（例如，忠实性指标的数值、搜索算法的运行时间等）未知，但论文强调了JoPA在解释LLM生成行为方面的优势。

🎯 应用场景

JoPA框架可应用于提高大型语言模型的可解释性和可控性。例如，可以帮助用户理解哪些输入对模型的生成结果产生了关键影响，从而更好地控制模型的行为。此外，该框架还可以用于检测模型是否存在偏见或不公平行为，例如，某些提示可能导致模型生成带有歧视色彩的内容。在教育、医疗等领域，可解释性对于LLM的应用至关重要，JoPA框架能够提升LLM在这些领域的应用价值。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated impressive performances in complex text generation tasks. However, the contribution of the input prompt to the generated content still remains obscure to humans, underscoring the necessity of understanding the causality between input and output pairs. Existing works for providing prompt-specific explanation often confine model output to be classification or next-word prediction. Few initial attempts aiming to explain the entire language generation often treat input prompt texts independently, ignoring their combinatorial effects on the follow-up generation. In this study, we introduce a counterfactual explanation framework based on Joint Prompt Attribution, JoPA, which aims to explain how a few prompt texts collaboratively influences the LLM's complete generation. Particularly, we formulate the task of prompt attribution for generation interpretation as a combinatorial optimization problem, and introduce a probabilistic algorithm to search for the casual input combination in the discrete space. We define and utilize multiple metrics to evaluate the produced explanations, demonstrating both the faithfulness and efficiency of our framework.