Debiasing Reward Models via Causally Motivated Inference-Time Intervention

📄 arXiv: 2604.27495v1 📥 PDF

作者: Kazutoshi Shinoda, Kosuke Nishida, Kyosuke Nishida

分类: cs.CL, cs.AI

发布日期: 2026-04-30

备注: Accepted to ACL 2026 Main Conference

💡 一句话要点

提出因果干预的奖励模型去偏方法，提升大语言模型对齐效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 奖励模型 大语言模型对齐 因果干预 偏差缓解 神经元干预

📋 核心要点

  1. 现有奖励模型易受回复长度等偏差影响，推理时去偏方法常导致性能下降。
  2. 通过识别并干预与偏差相关的神经元，抑制偏差信号，实现更有效的去偏。
  3. 实验表明，该方法能有效降低奖励模型对多种偏差的敏感性，且不影响性能。

📝 摘要（中文）

奖励模型（RM）在大语言模型（LLM）与人类偏好对齐中起着关键作用。然而，RM通常对诸如回复长度等虚假特征敏感。现有的推理时缓解这些偏差的方法通常只关注回复长度，导致性能上的权衡。本文提出了一种因果驱动的干预方法，用于在推理时缓解RM中的多种偏差。该方法首先识别与预定义的偏差属性强相关的神经元激活，并应用神经元级别的干预来抑制这些信号。在RM基准测试中，我们观察到对不同偏差类型的虚假特征的敏感性降低，且没有引起性能上的权衡。此外，当用于偏好标注时，使用我们方法的小型RM（2B和7B），仅编辑RM中不到2%的神经元，就能使LLM提高对齐效果，在AlpacaEval和MT-Bench上实现与最先进的70B RM相当的性能。进一步的分析表明，偏差信号主要由早期层的神经元编码，揭示了RM中偏差利用的内部机制。

🔬 方法详解

问题定义：奖励模型在对齐大语言模型与人类偏好方面至关重要，但它们容易受到诸如回复长度等虚假特征的影响，导致模型产生偏差。现有的推理时去偏方法通常只关注回复长度，这限制了它们处理多种偏差的能力，并且常常需要在去偏和模型性能之间做出权衡。

核心思路：本文的核心思路是通过因果干预来缓解奖励模型中的偏差。具体来说，该方法旨在识别并抑制奖励模型中与特定偏差属性（例如回复长度）密切相关的神经元激活。通过直接干预这些神经元，可以减少奖励模型对虚假特征的依赖，从而提高其泛化能力和对齐效果。

技术框架：该方法主要包含以下几个步骤：1) 偏差属性定义：首先，需要明确定义需要缓解的偏差属性，例如回复长度、特定关键词等。2) 神经元激活关联性分析：然后，通过分析奖励模型中每个神经元的激活值与定义的偏差属性之间的相关性，识别出与偏差属性强相关的神经元。3) 神经元级别干预：对于识别出的与偏差相关的神经元，在推理时应用干预策略，例如抑制这些神经元的激活信号。4) 模型评估：最后，评估干预后的奖励模型在各种基准测试上的性能，以验证去偏效果和模型性能的保持。

关键创新：该方法的关键创新在于其因果驱动的神经元级别干预策略。与传统的仅关注回复长度的去偏方法不同，该方法能够针对多种类型的偏差进行干预，并且通过直接干预神经元激活，能够更有效地抑制偏差信号，从而避免了性能上的权衡。此外，该方法还揭示了偏差信号主要由早期层的神经元编码，为理解奖励模型中的偏差利用机制提供了新的视角。

关键设计：在神经元激活关联性分析中，可以使用Pearson相关系数等统计指标来衡量神经元激活值与偏差属性之间的相关性。在神经元级别干预中，可以使用不同的干预策略，例如将相关神经元的激活值设置为零，或者使用一个小的负值来抑制其激活。论文中提到，该方法仅编辑了少于2%的神经元，这表明该方法具有较高的效率和可扩展性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够有效降低奖励模型对多种偏差的敏感性，且不会引起性能上的权衡。使用该方法的小型奖励模型（2B和7B）在AlpacaEval和MT-Bench上的性能与最先进的70B奖励模型相当，证明了该方法的有效性和效率。

🎯 应用场景

该研究成果可应用于提升大语言模型与人类价值观的对齐，减少模型输出中的偏见和歧视。通过降低奖励模型对虚假特征的敏感性，可以提高模型在各种实际应用场景中的可靠性和公平性，例如对话系统、内容生成和推荐系统等。

📄 摘要（原文）

Reward models (RMs) play a central role in aligning large language models (LLMs) with human preferences. However, RMs are often sensitive to spurious features such as response length. Existing inference-time approaches for mitigating these biases typically focus exclusively on response length, resulting in performance trade-offs. In this paper, we propose causally motivated intervention for mitigating multiple types of biases in RMs at inference time. Our method first identifies neurons whose activations are strongly correlated with predefined bias attributes, and applies neuron-level intervention that suppresses these signals. We evaluate our method on RM benchmarks and observe reductions in sensitivity to spurious features across diverse bias types, without inducing performance trade-offs. Moreover, when used for preference annotation, small RMs (2B and 7B) with our method, which edits less than 2% of all the neurons in RMs, enable LLMs to improve alignment, achieving performance comparable to that of a state-of-the-art 70B RM on AlpacaEval and MT-Bench. Further analysis reveals that bias signals are primarily encoded by neurons in early layers, shedding light on the internal mechanisms of bias exploitation in RMs.