Recognizing Is Not Reversing: A Controlled Inversion Test of Fact-Preserving News Framing
作者: Yi Liu
分类: cs.CL, cs.AI
发布日期: 2026-09-10
💡 一句话要点
提出控制反转测试以评估事实保留的新闻框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 新闻框架 事实保留 反转测试 文本生成 舆论分析
📋 核心要点
- 现有的框架研究未能有效评估模型在保持事实不变的情况下撤销已知框架转化的能力。
- 本文提出了一种控制反转测试，针对三种文本框架实现，评估模型的框架识别与反转能力。
- 实验结果显示，尽管事实保留率高达0.84，但干预反转率极低，表明框架识别与反转之间存在明显差异。
📝 摘要（中文）
大型语言模型（LLMs）在新闻分析和重写中越来越受到重视，但现有的框架研究主要集中在生成、检测或重写文本的中立性上，未能直接展示模型在保持事实不变的情况下能否撤销已知的框架转化。本文引入了一种控制反转测试，针对三种已建立的文本框架实现：评估词汇、代理实现和信息显著性。通过对60篇新闻文章和三种干预强度的测试，生成了540对保留原子事实的变体。结果显示，事实保留率接近0.84，而干预反转率仅为0.044至0.068，表明识别框架并不意味着能够撤销框架。
🔬 方法详解
问题定义：本文旨在解决现有框架研究未能直接评估模型在保持事实不变的情况下撤销框架转化的问题。现有方法主要关注生成和检测，缺乏对反转能力的直接测试。
核心思路：本文引入控制反转测试，通过对三种已建立的文本框架实现进行评估，探讨模型在识别框架与撤销框架之间的关系。
技术框架：整体架构包括三个主要模块：框架识别、干预实施和反转测试。首先识别文本中的框架类型，然后实施干预，最后评估反转效果。
关键创新：最重要的创新在于提出了控制反转测试，明确区分了事实保留、框架识别和框架反转之间的关系，这在现有研究中尚属首次。
关键设计：在实验中，设置了不同的干预强度，并记录了540对变体的编辑情况，确保了对原子事实的保留，同时评估了不同模型的反转能力。实验结果显示，尽管事实保留率高，但反转能力较低。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管在Qwen、DeepSeek和Kimi模型中，事实保留率接近0.84，但干预反转率仅为0.044至0.068，显示出框架识别与反转之间的显著差异。这一发现强调了在新闻重写中，识别框架并不等同于能够撤销框架。
🎯 应用场景
该研究的潜在应用领域包括新闻报道的自动化重写、舆论分析和信息传播研究。通过提高对新闻框架的理解，能够帮助媒体和公众更好地识别和应对偏见，从而促进信息的客观传播。未来，该方法可能影响新闻生成系统的设计和评估标准。
📄 摘要（原文）
Large language models (LLMs) are increasingly used to analyze and rewrite news, yet current framing studies mainly evaluate generation, detection, or whether rewritten text appears more neutral. They do not directly show whether a model can undo a known framing transformation while keeping the facts fixed. We introduce a controlled inversion test over three established textual realizations of framing: evaluative lexis, agency realization, and information salience. Across 60 news articles and three intervention strengths, this yields 540 paired variants with preserved atomic facts and recorded edits. Across Qwen, DeepSeek, and Kimi, factual preservation remains near 0.84, whereas intervention reversal is 0.044--0.068. Even when both framing type and direction are recognized correctly, pooled reversal reaches 0.071. These results reveal a clear separation between factual fidelity, framing recognition, and framing inversion: recognizing how an article is framed does not imply that the framing can be undone.