BAIT: Can LLMs Find What Biases a Reader? A Benchmark for Cognitive Bias Triggers in News
作者: Yousra Fettach, Tijl De Bie
分类: cs.CL, cs.AI
发布日期: 2026-10-20
💡 一句话要点
提出BAIT以识别新闻中的认知偏见触发因素
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 认知偏见 大型语言模型 文本分析 新闻处理 偏见检测 自然语言处理 数据标注
📋 核心要点
- 现有方法在识别新闻文本中的认知偏见触发因素方面存在不足，尤其是在定位具体片段时的准确性较低。
- 论文提出BAIT资源，通过定义九种认知偏见触发因素，结合标注的新闻文章，构建了检测和定位的任务。
- 实验结果显示，评估的LLMs在识别触发因素上接近人类一致性，但在定位能力上远低于人类水平，且存在过度预测的问题。
📝 摘要（中文）
说服性写作利用认知偏见，通过读者的心理捷径来塑造信念，往往不被读者察觉。我们称这种利用心理捷径的语言特征为认知偏见触发因素。随着大型语言模型（LLMs）在新闻中扮演越来越重要的角色，本文提出BAIT（文本中的偏见注释），用于检测新闻中的认知偏见触发因素。BAIT结合了九种触发因素的框架和50篇经过训练的注释员标注的英文新闻文章，定义了两个任务：检测文本中包含的触发因素以及定位承载这些因素的文本片段。实验表明，评估的LLMs在识别触发因素方面接近人类一致性，但在定位方面表现较差，且倾向于过度预测表面线索明显的触发因素。我们发布了该框架、注释手册、注释数据和评估流程。
🔬 方法详解
问题定义：本文旨在解决大型语言模型在识别和定位新闻文本中的认知偏见触发因素的能力不足，现有方法在这方面的准确性和全面性均存在挑战。
核心思路：通过构建BAIT资源，定义九种认知偏见触发因素，并对50篇新闻文章进行标注，提供一个标准化的评估框架，以便于检测和定位这些触发因素。
技术框架：BAIT的整体架构包括触发因素的定义、标注的新闻文章、注释员的标注过程以及后续的评估任务，主要模块包括触发因素检测和定位。
关键创新：最重要的创新在于构建了一个系统化的框架，结合了触发因素的定义与实际新闻文本的标注，填补了现有研究在认知偏见检测方面的空白。
关键设计：在参数设置上，使用了经过训练的注释员进行标注，确保了数据的质量；在损失函数和评估指标上，采用了与人类一致性对比的方式，确保模型性能的有效评估。
🖼️ 关键图片
📊 实验亮点
实验结果显示，评估的六个前沿LLMs在识别触发因素时接近人类一致性，但在定位承载这些因素的文本片段时，准确率不足50%。此外，模型倾向于过度预测表面线索明显的触发因素，导致误标现象频发。
🎯 应用场景
该研究的潜在应用场景包括新闻媒体、社交媒体平台和教育领域，能够帮助识别和减少新闻内容中的偏见，提升信息传播的公正性和透明度。未来，该方法还可扩展到其他文本类型的偏见检测，具有广泛的社会影响力。
📄 摘要（原文）
Persuasive writing exploits cognitive biases, recruiting a reader's mental shortcuts to shape belief, often without the reader noticing. We call the linguistic features exploiting such mental shortcuts cognitive bias triggers. As large language models (LLMs) increasingly mediate how people encounter news, summarizing it, ranking it, and answering questions over it, a natural question is whether they can recognize the features of a text that bias a human reader. We introduce BAIT (Bias Annotation In Text), a resource for detecting cognitive bias triggers in news. BAIT pairs a schema of nine triggers, each specified in an annotator codebook, with 50 English news articles annotated by trained annotators at the article and span levels and adjudicated into a gold standard. On this data we define two tasks, detecting which triggers a text contains and locating the spans that carry them. We then benchmark six frontier LLMs zero-shot and with three or ten in-context examples. The models approach human agreement on which triggers an article contains, but rarely recover its full set of triggers, and they reach less than half of human agreement in locating the passages that carry them. Moreover, they over-predict triggers that come with easy surface cues, and most of the passages they mark for these triggers are not triggers, yet carry the trigger's surface cue far more often than random text. These findings suggest that the evaluated LLMs respond to surface cues rather than to the mechanisms that make a passage manipulative. We release the schema, the codebook, standoff annotations, and the evaluation pipeline.