Ambiguity Awareness Optimization: Towards Semantic Disambiguation for Direct Preference Optimization

📄 arXiv: 2511.23391v1 📥 PDF

作者: Jian Li, Shenglin Yin, Yujia Zhang, Alan Zhao, Xi Chen, Xiaohui Zhou, Pengfei Xu

分类: cs.CL

发布日期: 2025-11-28

备注: Accepted at EMNLP 2025 main

💡 一句话要点

提出歧义感知优化(AAO)，通过语义消歧提升直接偏好优化(DPO)效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 直接偏好优化 人类反馈强化学习 语义消歧 歧义感知 模型对齐

📋 核心要点

  1. DPO训练中，偏好对中存在的歧义内容会引入歧义，限制模型对齐效果的进一步提升。
  2. AAO通过计算偏好对的语义相似性，自动重新加权歧义内容，从而减少歧义。
  3. 实验表明，AAO在多个基准数据集上显著超越了现有方法，且没有明显增加响应长度。

📝 摘要（中文）

直接偏好优化(DPO)是一种广泛应用于各领域的基于人类反馈的强化学习(RLHF)方法。最近的研究越来越关注token重要性在提高DPO有效性方面的作用。观察到偏好对中经常出现相同或语义相似的内容（定义为歧义内容）。我们假设DPO训练期间存在歧义内容可能会引入歧义，从而限制对齐的进一步改进。通过数学分析和概念验证实验，我们揭示了歧义内容可能潜在地引入歧义，从而降低性能。为了解决这个问题，我们引入了歧义感知优化(AAO)，这是一种简单而有效的方法，通过计算偏好对的语义相似性来自动重新加权歧义内容，以减少歧义。通过广泛的实验，我们证明了AAO在多个模型规模和广泛采用的基准数据集（包括AlpacaEval 2、MT-Bench和Arena-Hard）上始终显著超越了最先进的方法，且没有显着增加响应长度。具体来说，AAO在AlpacaEval 2上优于DPO高达8.9个点，在Arena-Hard上实现了高达15.0个点的改进。

🔬 方法详解

问题定义：论文旨在解决直接偏好优化(DPO)训练过程中，由于偏好对中存在歧义内容（相同或语义相似的内容）而导致的模型性能下降问题。现有DPO方法没有充分考虑这种歧义性，导致模型在学习人类偏好时受到干扰，无法达到最佳对齐效果。

核心思路：论文的核心思路是识别并降低歧义内容在DPO训练中的影响。通过计算偏好对中内容的语义相似性，判断是否存在歧义，并对歧义内容进行重新加权，从而减少歧义对模型训练的干扰。这样设计的目的是让模型更加关注非歧义性的、具有区分度的内容，从而更准确地学习人类偏好。

技术框架：AAO方法主要包含以下几个阶段：1. 语义相似度计算：计算偏好对中两个响应的语义相似度。2. 歧义权重计算：根据语义相似度，计算歧义权重，相似度越高，权重越低。3. DPO损失函数调整：将歧义权重融入到DPO损失函数中，降低歧义内容对损失函数的影响。4. 模型训练：使用调整后的损失函数进行DPO训练。

关键创新：AAO的关键创新在于其歧义感知机制。与传统的DPO方法不同，AAO能够自动识别并降低歧义内容的影响，从而提高模型的对齐效果。这种方法不需要人工标注歧义内容，而是通过语义相似度计算自动实现，具有更高的效率和泛化能力。

关键设计：AAO的关键设计包括：1. 语义相似度计算方法：可以使用各种语义相似度计算方法，例如余弦相似度、BERT相似度等。论文中具体使用了哪种方法未知。2. 歧义权重计算函数：需要设计一个函数，将语义相似度映射到歧义权重。该函数应该保证相似度越高，权重越低。3. DPO损失函数调整方式：需要将歧义权重融入到DPO损失函数中，常用的方法是乘以一个权重系数。具体公式未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AAO在AlpacaEval 2上优于DPO高达8.9个点，在Arena-Hard上实现了高达15.0个点的改进。这些结果表明，AAO能够有效减少歧义内容的影响，显著提升DPO的性能。此外，AAO在提升性能的同时，没有明显增加响应长度，保证了生成效率。

🎯 应用场景

AAO方法可广泛应用于各种需要使用DPO进行模型对齐的场景，例如对话系统、文本生成、代码生成等。通过减少歧义内容的影响，AAO可以提高模型的生成质量和对齐效果，从而提升用户体验和应用价值。未来，AAO还可以与其他RLHF方法结合，进一步提升模型性能。

📄 摘要（原文）

Direct Preference Optimization (DPO) is a widely used reinforcement learning from human feedback (RLHF) method across various domains. Recent research has increasingly focused on the role of token importance in improving DPO effectiveness. It is observed that identical or semantically similar content (defined as ambiguous content) frequently appears within the preference pairs. We hypothesize that the presence of ambiguous content during DPO training may introduce ambiguity, thereby limiting further improvements in alignment. Through mathematical analysis and proof-of-concept experiments, we reveal that ambiguous content may potentially introduce ambiguities, thereby degrading performance. To address this issue, we introduce Ambiguity Awareness Optimization (AAO), a simple yet effective approach that automatically re-weights ambiguous content to reduce ambiguities by calculating semantic similarity from preference pairs. Through extensive experiments, we demonstrate that AAO consistently and significantly surpasses state-of-the-art approaches in performance, without markedly increasing response length, across multiple model scales and widely adopted benchmark datasets, including AlpacaEval 2, MT-Bench, and Arena-Hard. Specifically, AAO outperforms DPO by up to 8.9 points on AlpacaEval 2 and achieves an improvement of by up to 15.0 points on Arena-Hard.