Debias It Yourself: Teaching LLMs Cognitive Bias Mitigation Interventions

📄 arXiv: 2609.40124v1 📥 PDF

作者: Chahat Raj, Sina Mansouri, Aylin Caliskan, Antonios Anastasopoulos, Ziwei Zhu

分类: cs.CL

发布日期: 2026-09-30

备注: Under Review

💡 一句话要点

提出Debias It Yourself框架以缓解大型语言模型的认知偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知偏见 大型语言模型 去偏见 心理学干预 自然语言处理 模型训练 公平性 推理准确率

📋 核心要点

  1. 现有的大型语言模型在处理偏见问题时效果不佳，难以有效减少刻板印象和偏见反应。
  2. 本文提出的DIY框架通过将心理学干预措施转化为模型的去偏见程序，提供了新的解决方案。
  3. 实验结果显示，Train+Revise和Revise方法在多个基准测试中表现优异，显著降低了偏见水平。

📝 摘要（中文）

偏见在社会心理学和认知科学中长期受到研究，已有多项经过验证的干预措施能够减少人类的刻板印象和偏见反应。本文提出了Debias It Yourself (DIY)框架，将五种干预措施转化为大型语言模型的去偏见程序，并通过三种已建立的范式（展示、训练和修订）进行实施。在三个模型、五个偏见基准、十一种去偏见基线和三个推理基准的实验中，Train+Revise和Revise单独方法获得了前两名的平均排名，在偏见与推理的权衡中表现优异（在90%推理准确率下，平均偏见低至2%），并在未见维度上减少偏见高达14.8%。我们的代码和数据已公开可用。

🔬 方法详解

问题定义：本文旨在解决大型语言模型中的认知偏见问题，现有方法在减少偏见方面效果有限，难以达到理想的去偏见效果。

核心思路：论文提出的DIY框架基于心理学的干预措施，将其转化为适用于语言模型的去偏见程序，利用展示、训练和修订三种范式进行实施。

技术框架：整体架构包括三个主要模块：展示（Show）提供上下文示例，训练（Train）通过指令调优进行模型训练，修订（Revise）则通过引导自我修订来进一步减少偏见。

关键创新：最重要的创新在于将心理学的干预措施系统化并应用于大型语言模型，显著提升了模型在偏见与推理之间的平衡。

关键设计：在模型训练中，采用了特定的损失函数和参数设置，以确保模型在推理准确率和偏见水平之间达到最佳平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Train+Revise和Revise方法在多个基准测试中表现突出，平均偏见降低至2%，推理准确率达到90%。此外，在未见维度上，偏见减少幅度高达14.8%，显示出该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、社交媒体内容审核和教育技术等。通过有效减少语言模型中的偏见，能够提升模型的公平性和可靠性，促进更广泛的社会接受度和应用价值。

📄 摘要（原文）

Bias has long been studied in social psychology and cognitive science, where decades of research have produced a body of validated interventions that reduce stereotypical thinking and prejudiced responses in humans. We propose Debias It Yourself (DIY), a cognitively grounded framework that translates five such interventions into debiasing procedures for large language models and delivers them through three established paradigms: Show (in-context examples), Train (instruction tuning), and Revise (guided self-revision). Across three models, five bias benchmarks, eleven debiasing baselines, and three reasoning benchmarks, Train+Revise and Revise alone attain the top two average ranks, lead the bias-reasoning tradeoff (mean bias as low as 2% at 90% reasoning accuracy), and reduce bias on unseen dimensions by up to 14.8%. Our code and data are publicly available.