Latent space bias directions in LLMs capture confidence, not fairness
作者: Stephanie Buttigieg, Maeve Madigan, Parameswaran Kamalaruban, Stuart Burrell
分类: cs.CL, cs.AI, cs.LG
发布日期: 2026-10-06
💡 一句话要点
分析大语言模型中的潜在空间偏差方向以提升公平性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 去偏见 大语言模型 模型信心 激活引导 公平性评估 自然语言处理 机器学习
📋 核心要点
- 现有的激活引导去偏见方法在泛化能力和新数据集转移上存在显著不足，导致模型性能受损。
- 本文通过分析激活空间中的去偏见方向，提出了一种新的理解模型偏见的方法，强调模型信心的作用。
- 实验结果表明，降低模型信心能够减少偏见，但同时也可能影响模型在其他任务上的表现，需谨慎解读。
📝 摘要（中文）
激活引导作为一种轻量级的推理时去偏见技术在大型语言模型中越来越受欢迎。然而，先前的研究表明，去偏见向量的泛化能力较差，对模型性能产生了意想不到的影响，并且在新数据集上的转移能力有限。本文分析了用于激活引导的去偏见方向所编码的内容，揭示了其不一致的表现。研究发现，该方向主要受模型信心的主导，指向激活空间中高概率和低概率标记的区域，而并未有效表示模型偏见。尽管沿此方向引导确实减少了测量到的偏见，但这实际上是由于降低了模型信心，导致模型在问答基准上更倾向于不回答，从而意外改善了公平性指标。实验表明，模型信心是隐藏空间中偏见与反偏见提示之间的主要区分因素，因此，去偏见结果应谨慎解读。
🔬 方法详解
问题定义：本文旨在解决激活引导去偏见技术在大型语言模型中的不一致表现，现有方法在泛化和新数据集转移上存在显著不足，导致模型性能受损。
核心思路：通过分析去偏见方向的内容，揭示其主要受模型信心的主导，而非有效表示模型偏见，从而提供新的视角理解去偏见效果。
技术框架：研究首先对比反偏见和偏见提示的激活，获得线性去偏见方向，然后在多个偏见和知识基准上评估该方向的引导效果。
关键创新：本文的创新在于识别出模型信心作为偏见与反偏见提示之间的主要区分因素，强调了去偏见结果的解读需要考虑模型信心的影响。
关键设计：实验中采用了多种基准测试，特别是在问答任务上，观察到引导导致模型信心降低，进而影响其回答行为和公平性指标。实验设计中关注了激活空间的高低概率标记分布。
🖼️ 关键图片
📊 实验亮点
实验结果显示，沿着去偏见方向引导模型，虽然减少了测量到的偏见，但主要是通过降低模型信心实现的。在问答基准上，模型在引导后更倾向于不回答，公平性指标有所改善。具体数据表明，模型信心的变化是影响结果的关键因素。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的公平性评估和改进，尤其是在涉及敏感话题的对话系统和问答系统中。通过理解和调整模型信心，可以在保持性能的同时，提升模型的公平性和用户信任度。未来，研究结果可能推动更有效的去偏见技术的发展。
📄 摘要（原文）
Activation steering has gained popularity as a lightweight inference-time debiasing technique for large language models. However, prior work reports that steering vectors generalise poorly, with unintended effects on model performance and limited transfer to new datasets. Our work analyses what the debiasing direction used for activation steering actually encodes, in order to shed light on its inconsistent performance. We study the linear debiasing direction obtained by contrasting the activations of anti-biased and biased prompts, and evaluate it as a steering intervention across bias and general knowledge benchmarks. We find that this direction is dominated by model confidence, pointing from regions of high to low-probability tokens in activation space rather than encoding a meaningful representation of model bias. Steering along it does reduce measured bias, but this is a consequence of reducing model confidence: on QA benchmarks we find that this steering drives the model to abstain from answering, with a side effect of improving fairness metrics. Our experiments show that model confidence is the dominant separating factor between biased and anti-biased prompts in hidden space, indicating that isolating a linear representation of bias which is disentangled from model confidence is difficult and steering-based debiasing results should be interpreted with care. In short, steering appears to reduce bias, not by correcting the model's underlying preferences, but by making it less confident, even on tasks unrelated to bias.