BA-DPO: Bias-Adjusted Direct Preference Optimization for Language Model Alignment

📄 arXiv: 2609.35044v1 📥 PDF

作者: Antonio Ferrara, Alberto Rumi, Francesco Bonchi

分类: cs.LG, cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出BA-DPO以解决语言模型偏见对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 语言模型对齐 偏见消除 直接偏好优化 自然语言处理 机器学习 模型微调

📋 核心要点

  1. 现有的偏好基础对齐方法未能有效消除标注者对任意属性的系统性偏见，导致模型对齐效果不佳。
  2. 本文提出BA-DPO，通过为每个标注者增加偏见参数，旨在消除对齐过程中吸收和放大的偏见。
  3. 实验结果显示，BA-DPO在去除偏见方面表现优异，能够消除81%至95%的偏见转移，并在多个数据集上保持模型质量。

📝 摘要（中文）

偏好基础的对齐方法如直接偏好优化（DPO）利用人类标注者标记的成对偏好来微调语言模型。然而，标注者对某些属性存在系统性偏见，这些偏见如果不加以处理，会在对齐过程中被吸收和放大。现有方法虽然解决了长度偏见或标注者之间的不一致性，但未能消除对任意属性的偏见。为了解决这一局限性，本文提出了偏见调整直接偏好优化（BA-DPO），这是DPO的一个推广，增加了每个标注者对携带声明属性的响应的偏见参数。我们证明了目标在偏见参数上是凸的，并且投票识别了每个标注者的偏见。实验结果表明，BA-DPO能够显著减少偏见的影响。

🔬 方法详解

问题定义：本文旨在解决现有偏好基础对齐方法在处理标注者系统性偏见时的不足，特别是对任意属性的偏见未能有效消除。

核心思路：BA-DPO通过为每个标注者引入一个偏见参数，调整模型对不同属性的响应，从而在对齐过程中消除偏见的影响。

技术框架：BA-DPO的整体架构包括偏见参数的引入、投票机制的设计以及目标函数的优化，确保模型在对齐时能够保持统计平衡。

关键创新：BA-DPO的主要创新在于引入了偏见参数的概念，使得每个标注者的偏见能够被量化并调整，从而有效减少了模型对特定属性的偏见。

关键设计：在模型设计中，BA-DPO采用了凸优化方法来处理偏见参数，确保了目标函数的可优化性，并在实验中通过对比分析验证了模型的有效性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，BA-DPO在处理带有偏见的数据集时，能够将偏见转移减少81%至95%。在MultiPref数据集上，BA-DPO还成功减少了DPO方法导致的长度偏见，显示出其在模型对齐中的优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的对话系统、推荐系统以及任何需要人机交互的场景。通过减少模型的偏见，BA-DPO能够提高用户体验和模型的公平性，具有重要的实际价值和社会影响。

📄 摘要（原文）

Preference-based alignment methods such as Direct Preference Optimization (DPO) use pairwise preferences labeled by human annotators to fine-tune language models. However, annotators carry systematic biases toward some attributes: a name that signals a gender or an ethnicity, a persona, a language variety, a formatting convention, or length. If not properly addressed, these systematic biases can be absorbed and amplified during alignment. Existing methods address length bias or annotator disagreement, but fail to eliminate biases toward arbitrary attributes. To address this limitation, we propose Bias-Adjusted DPO (BA-DPO), a generalization of DPO that adds one bias parameter per annotator toward responses carrying a declared attribute. We prove that the objective is convex in the bias parameters and that the votes identify each annotator's bias up to a shared constant. The remaining constant is what fixes the aligned model's attribute rate: by default the rate of the reference model, or a target rate, which we use to bring a biased policy to statistical parity. On a corpus with planted biases, DPO drives the attribute from a balanced start to probability 0.96 and BA-DPO removes 81 to 95\% of that shift; on MultiPref with real annotators it removes about half of DPO's lengthening. Both hold at 0.5B with full fine-tuning and at 8B with LoRA, at no higher KL than DPO and no loss in judged quality.