Deep and shallow biases in language models

📄 arXiv: 2609.09901v1 📥 PDF

作者: An Vo, Vy Tuong Dang, Khai-Nguyen Nguyen, Emilio Villa-Cueva, Thamar Solorio, Anh Totti Nguyen, Daeyoung Kim

分类: cs.CL

发布日期: 2026-09-09

💡 一句话要点

提出偏见深度评分以区分语言模型中的深浅偏见

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 偏见深度评分 深偏见 浅偏见 自然语言处理 模型评估 去偏见技术

📋 核心要点

  1. 现有研究未能有效区分语言模型中的稳定偏见和提示依赖性偏见，导致对模型偏见的理解不够全面。
  2. 本文提出偏见深度评分，旨在量化模型对首选答案的偏好强度及其在不同提示下的稳定性。
  3. 实验结果表明，深偏见的去除难度高于浅偏见，且深偏见更可能源于预训练阶段的学习。

📝 摘要（中文）

大型语言模型在面对多个合理答案时，常常重复选择相同的答案。以往的研究将这种集中现象视为偏见，但未能区分模型的稳定偏好与特定提示措辞的依赖性。本文提出了一种偏见深度评分，衡量模型在直接提示下对其首选答案的偏好强度，以及该答案在场景重构中的存活情况。通过对4,442个意见提示和四个大型语言模型的分析，发现只有约四分之一的集中偏好能够在重构中存活。我们将这些持久案例称为深偏见，而剩余的依赖提示的案例称为浅偏见。研究表明，深偏见更常常源于预训练，并在后续微调中得以保留。无论是继续微调还是基于提示的去偏见方法，深偏见的去除难度始终高于浅偏见。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在回答时偏见集中现象的识别与分类问题。现有方法未能有效区分模型的稳定偏好与提示措辞的影响，导致偏见评估不准确。

核心思路：论文提出偏见深度评分，量化模型在直接提示下对首选答案的偏好强度，并评估该答案在不同场景重构下的存活情况，从而区分深偏见与浅偏见。

技术框架：研究通过对4,442个意见提示进行实验，分析四个大型语言模型的回答，构建偏见深度评分的评估框架，包含数据收集、模型评估和结果分析三个主要模块。

关键创新：最重要的技术创新在于提出了偏见深度评分这一新指标，能够有效区分模型的深偏见与浅偏见，填补了现有研究的空白。

关键设计：在实验中，采用了多种提示重构方式，设计了相应的评估标准，确保了偏见深度评分的有效性与可靠性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，只有约25%的深偏见在提示重构中存活，表明深偏见的去除难度高于浅偏见。该研究为理解和管理语言模型中的偏见提供了新的视角和方法。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的模型评估、去偏见技术的开发以及增强模型的公平性和多样性。通过更好地理解和管理模型偏见，可以提升语言模型在实际应用中的可靠性和用户信任度。

📄 摘要（原文）

Large language models often repeatedly select the same answer even when many alternatives are plausible. Prior work treats this concentration as bias, but it does not distinguish stable model preferences from responses that depend on a particular prompt wording. We introduce a bias depth score that measures both how strongly a model prefers its top answer under direct prompting and whether that answer survives scenario reframing. Across 4,442 opinion prompts and four large language models, only about a quarter of the concentrated preferences survive reframing. We call these persistent cases Deep biases, and the remaining prompt-dependent cases Shallow biases. Our results show that Deep biases are more often inherited from pretraining and preserved through SFT. Under both continued fine-tuning and prompt-based debiasing for diversity, Deep biases are consistently harder to remove than Shallow biases. Bias depth therefore separates stable learned biases from prompt-wording artifacts that single-prompt metrics conflate. Code, models, and data are available at deepbias.github.io.