Behavioral Analysis of Information Salience in Large Language Models

📄 arXiv: 2502.14613v2 📥 PDF

作者: Jan Trienes, Jörg Schlötterer, Junyi Jessy Li, Christin Seifert

分类: cs.CL

发布日期: 2025-02-20 (更新: 2025-05-27)

备注: Accepted at ACL 2025 (Findings)

💡 一句话要点

提出可解释框架，通过摘要行为分析大语言模型的信息显著性偏好。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 文本摘要 信息显著性 可解释性 行为分析

📋 核心要点

  1. 现有方法难以理解LLM在文本摘要中如何判断信息的重要性，即其内部的“显著性”概念。
  2. 该论文提出一个可解释框架，通过分析LLM生成摘要时的行为，推断其对信息显著性的偏好。
  3. 实验表明，LLM具有细致且分层的显著性概念，但在不同模型间具有一致性，且与人类认知相关性弱。

📝 摘要（中文）

大型语言模型（LLM）擅长文本摘要，这项任务要求模型根据重要性选择内容。然而，LLM内化的显著性的确切概念仍不清楚。为了弥合这一差距，我们引入了一个可解释的框架，通过LLM的摘要行为系统地推导和研究信息显著性。通过使用长度控制的摘要作为对内容选择过程的行为探针，并追踪整个过程中“讨论中的问题”的可回答性，我们推导出一个模型如何优先考虑信息的代理。我们对四个数据集上的13个模型进行的实验表明，LLM具有细致的、分层的信息显著性概念，这在模型系列和大小上通常是一致的。虽然模型表现出高度一致的行为，因此也表现出显著性模式，但这种显著性概念无法通过内省来访问，并且与人类对信息显著性的感知只有微弱的相关性。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在文本摘要任务中如何判断信息重要性（即信息显著性）的问题。现有方法缺乏对LLM内部显著性概念的理解，无法解释模型为何选择某些信息进行摘要，而忽略其他信息。这限制了我们对LLM行为的理解和控制。

核心思路：论文的核心思路是通过分析LLM的摘要行为来推断其信息显著性偏好。具体来说，通过控制摘要的长度，观察模型在不同长度下选择哪些信息，从而揭示模型认为哪些信息更重要。同时，利用“讨论中的问题”（Questions Under Discussion）的可回答性来追踪信息的重要性。

技术框架：该框架包含以下几个主要步骤：1) 使用长度控制的摘要作为行为探针，迫使模型在不同长度下选择信息。2) 针对原始文本提出一系列“讨论中的问题”。3) 评估生成的摘要对这些问题的回答能力。4) 通过分析摘要长度与问题回答能力之间的关系，推断模型对不同信息的优先级排序。

关键创新：该论文的关键创新在于提出了一种可解释的框架，通过分析LLM的摘要行为来推断其内部的信息显著性概念。与传统的基于内省或注意力机制的方法不同，该方法直接观察模型的行为，从而更准确地反映模型的真实偏好。此外，使用“讨论中的问题”的可回答性作为衡量信息重要性的指标，更加客观和可量化。

关键设计：论文使用长度控制的摘要生成方法，通过调整摘要的长度来观察模型选择的信息。同时，使用预定义的“讨论中的问题”集合，并设计自动评估方法来衡量摘要对这些问题的回答能力。具体的技术细节包括：摘要长度的控制策略、问题生成的规则、以及问题回答能力的评估指标。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，LLM具有细致且分层的信息显著性概念，且在不同模型系列和大小上表现出一致性。然而，这种显著性概念无法通过内省来访问，并且与人类对信息显著性的感知只有微弱的相关性。这表明LLM的信息选择机制与人类存在显著差异。

🎯 应用场景

该研究成果可应用于提升LLM文本摘要的可控性和可解释性。通过理解LLM的信息显著性偏好，可以设计更有效的提示工程方法，引导模型生成更符合人类期望的摘要。此外，该方法还可以用于评估不同LLM的信息抽取能力，并指导模型的选择和优化。

📄 摘要（原文）

Large Language Models (LLMs) excel at text summarization, a task that requires models to select content based on its importance. However, the exact notion of salience that LLMs have internalized remains unclear. To bridge this gap, we introduce an explainable framework to systematically derive and investigate information salience in LLMs through their summarization behavior. Using length-controlled summarization as a behavioral probe into the content selection process, and tracing the answerability of Questions Under Discussion throughout, we derive a proxy for how models prioritize information. Our experiments on 13 models across four datasets reveal that LLMs have a nuanced, hierarchical notion of salience, generally consistent across model families and sizes. While models show highly consistent behavior and hence salience patterns, this notion of salience cannot be accessed through introspection, and only weakly correlates with human perceptions of information salience.