Left, Right, or Center? Evaluating LLM Framing in News Classification and Generation

📄 arXiv: 2601.05835v1 📥 PDF

作者: Molly Kennedy, Ali Parker, Yihong Liu, Hinrich Schütze

分类: cs.CL

发布日期: 2026-01-09

💡 一句话要点

评估LLM在新闻分类和生成中的框架效应：揭示普遍存在的意识形态中心塌陷现象

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 政治框架效应 新闻分类 文本生成 意识形态偏见 中心塌陷 算法公平性

📋 核心要点

  1. 新闻文本中细微的措辞选择会影响读者解读，LLM生成文本的政治框架效应成为重要问题。
  2. 通过比较LLM在分类任务中的意识形态偏见与生成摘要中的框架行为，研究LLM的政治框架效应。
  3. 实验发现LLM在新闻分类和生成中普遍存在意识形态中心塌陷现象，表明其倾向于中间派框架。

📝 摘要（中文）

基于大型语言模型（LLM）的摘要和文本生成越来越多地被用于生产和改写文本，这引发了对新闻业中政治框架效应的担忧，因为微妙的措辞选择会影响解读。本文针对九个最先进的LLM，通过测试LLM基于分类的偏见信号是否与其生成的摘要中的框架行为一致，来研究政治框架效应。首先，将少量样本的意识形态预测与左/中/右标签进行比较。然后，在FAITHFUL、CENTRIST、LEFT和RIGHT提示下生成“引导”摘要，并使用单个固定的意识形态评估器对所有输出进行评分。研究发现，在文章层面的评分和生成的文本中都存在普遍的意识形态中心塌陷现象，表明存在一种系统性的趋向于中间派框架的趋势。在评估的模型中，Grok 4是迄今为止意识形态表达能力最强的生成器，而Claude Sonnet 4.5和Llama 3.1分别在商业和开源模型中实现了最强的偏见评分性能。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）在新闻分类和文本生成任务中是否存在政治框架效应，即LLM是否会倾向于某种特定的政治立场，从而影响新闻内容的客观性和公正性。现有方法缺乏对LLM在生成文本中框架效应的系统性评估，难以量化和理解LLM的政治偏见。

核心思路：论文的核心思路是通过比较LLM在新闻分类任务中的意识形态预测与在文本生成任务中的框架行为，来评估LLM的政治框架效应。具体来说，首先使用LLM对新闻文章进行意识形态分类（左/中/右），然后使用LLM生成不同政治立场的摘要，最后比较分类结果和生成摘要的政治立场，从而判断LLM是否存在框架效应。这种方法能够量化LLM的政治偏见，并揭示LLM在生成文本中潜在的政治倾向。

技术框架：论文的技术框架主要包括以下几个阶段：1) 数据收集：收集带有政治立场标签的新闻文章；2) 意识形态分类：使用LLM对新闻文章进行意识形态分类，得到LLM的分类偏见信号；3) 文本生成：使用LLM在不同政治立场提示下生成新闻摘要；4) 意识形态评估：使用固定的意识形态评估器对生成的摘要进行评分，判断摘要的政治立场；5) 框架效应分析：比较LLM的分类偏见信号和生成摘要的政治立场，分析LLM是否存在框架效应。

关键创新：论文的关键创新在于提出了一种系统性的方法来评估LLM在新闻分类和文本生成中的政治框架效应。该方法能够量化LLM的政治偏见，并揭示LLM在生成文本中潜在的政治倾向。与现有方法相比，该方法更加全面和深入，能够更好地理解LLM的政治偏见。

关键设计：论文的关键设计包括：1) 使用少量样本学习（few-shot learning）进行意识形态分类，以减少对大量标注数据的依赖；2) 使用不同的政治立场提示（FAITHFUL、CENTRIST、LEFT、RIGHT）来引导LLM生成不同政治立场的摘要；3) 使用固定的意识形态评估器来保证评估结果的一致性和客观性；4) 采用中心塌陷（center-collapse）指标来量化LLM的政治偏见。

📊 实验亮点

实验结果表明，多个最先进的LLM在新闻分类和生成中都存在普遍的意识形态中心塌陷现象，表明其倾向于中间派框架。Grok 4是意识形态表达能力最强的生成器，Claude Sonnet 4.5和Llama 3.1分别在商业和开源模型中实现了最强的偏见评分性能。这些发现为理解和缓解LLM的政治偏见提供了重要依据。

🎯 应用场景

该研究成果可应用于评估和改进LLM在新闻生成、内容推荐等领域的应用，降低算法偏见，提升信息传播的客观性和公正性。同时，该方法也可推广到其他文本生成任务，例如政治评论、社交媒体内容生成等，有助于构建更负责任和可信赖的AI系统。

📄 摘要（原文）

Large Language Model (LLM) based summarization and text generation are increasingly used for producing and rewriting text, raising concerns about political framing in journalism where subtle wording choices can shape interpretation. Across nine state-of-the-art LLMs, we study political framing by testing whether LLMs' classification-based bias signals align with framing behavior in their generated summaries. We first compare few-shot ideology predictions against LEFT/CENTER/RIGHT labels. We then generate "steered" summaries under FAITHFUL, CENTRIST, LEFT, and RIGHT prompts, and score all outputs using a single fixed ideology evaluator. We find pervasive ideological center-collapse in both article-level ratings and generated text, indicating a systematic tendency toward centrist framing. Among evaluated models, Grok 4 is by far the most ideologically expressive generator, while Claude Sonnet 4.5 and Llama 3.1 achieve the strongest bias-rating performance among commercial and open-weight models, respectively.