Mind the Gap: Structure-Aware Consistency in Preference Learning

📄 arXiv: 2604.27733v1 📥 PDF

作者: Mehryar Mohri, Yutao Zhong

分类: cs.LG, stat.ML

发布日期: 2026-04-30

💡 一句话要点

提出结构感知DPO（SA-DPO），解决LLM偏好学习中标准替代损失函数的不一致性问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好学习 大型语言模型 直接偏好优化 一致性 结构感知 边际转移排序 语义距离

📋 核心要点

  1. 现有DPO等方法使用替代损失函数优化LLM，但理论上存在不一致性，泛化能力受限。
  2. 论文提出结构感知DPO（SA-DPO），通过引入基于语义距离的自适应边际来提升一致性。
  3. 分析了边际-容量剖面，证明重尾替代损失函数在容量受限模型中具有更优的一致性保证。

📝 摘要（中文）

偏好学习已成为将大型语言模型（LLM）与人类意图对齐的基础。诸如直接偏好优化（DPO）等常用方法，通过最小化替代损失函数来近似难以处理的成对排序损失。然而，我们证明，对于神经网络典型的等度连续假设集，这些标准替代损失在理论上是不一致的，导致泛化保证无效。为了解决这个问题，我们在边际转移排序框架内构建LLM对齐。我们推导出严格的H-一致性界限，该界限取决于强制执行分离边际γ。至关重要的是，我们将其扩展到结构感知H-一致性，引入了一种新的目标（SA-DPO），该目标基于响应之间的语义距离来调整边际，以处理同义词和困难样本对。最后，我们通过边际-容量剖面分析了一致性和模型限制之间的权衡，证明对于容量受限的模型，重尾替代损失（如多项式铰链系列）比DPO中使用的标准logistic损失提供更好的保证。

🔬 方法详解

问题定义：现有基于替代损失函数的偏好学习方法，如DPO，在理论上存在不一致性。这意味着即使模型在训练数据上表现良好，也无法保证其在未见过的数据上也能保持一致的偏好排序。特别是在神经网络等复杂的模型中，这种不一致性会导致泛化能力下降，模型无法真正对齐人类意图。现有方法未能充分考虑响应之间的语义关系，导致对同义词和困难样本对的处理不足。

核心思路：论文的核心思路是通过引入边际（margin）的概念，并使其具有结构感知能力，来提升偏好学习的一致性。具体来说，论文提出了一种新的目标函数SA-DPO，该函数能够根据响应之间的语义距离自适应地调整边际。对于语义相似的响应（例如同义词），使用较小的边际；对于难以区分的响应对，使用较大的边际。这种结构感知的边际调整能够更有效地学习到真实的偏好排序，从而提升模型的一致性和泛化能力。

技术框架：论文的技术框架主要包括以下几个部分：1) 基于边际转移排序框架构建LLM对齐；2) 推导依赖于分离边际γ的严格H-一致性界限；3) 引入结构感知H-一致性，提出SA-DPO目标函数；4) 分析边际-容量剖面，研究一致性和模型容量之间的权衡。SA-DPO的核心在于根据响应之间的语义距离动态调整边际，这需要一个能够衡量语义距离的模块，例如使用预训练的语义相似度模型。

关键创新：论文最重要的技术创新点在于提出了结构感知的边际调整机制。与传统的固定边际方法不同，SA-DPO能够根据响应之间的语义关系自适应地调整边际大小。这种结构感知能力使得模型能够更好地处理同义词和困难样本对，从而提升偏好学习的一致性和泛化能力。此外，论文还分析了边际-容量剖面，为选择合适的损失函数提供了理论指导。

关键设计：SA-DPO的关键设计在于如何定义和计算响应之间的语义距离，以及如何将该距离信息融入到边际调整中。一种可能的实现方式是使用预训练的语义相似度模型（例如Sentence-BERT）来计算响应之间的相似度得分，然后将该得分作为边际调整的权重。损失函数可以采用类似于DPO的形式，但需要引入一个额外的项来惩罚违反结构感知边际的样本。例如，可以使用Polynomial Hinge损失函数，该函数具有重尾特性，能够提供更好的容量控制和一致性保证。

📊 实验亮点

论文通过理论分析证明了标准替代损失函数在偏好学习中的不一致性，并提出了SA-DPO来解决该问题。虽然摘要中没有明确给出实验数据，但强调了SA-DPO能够更好地处理同义词和困难样本对，并分析了边际-容量剖面，为选择合适的损失函数提供了理论指导，暗示了SA-DPO在实际应用中具有潜在的性能提升。

🎯 应用场景

该研究成果可广泛应用于各种需要对齐人类意图的大型语言模型应用中，例如对话系统、文本生成、推荐系统等。通过提升模型偏好学习的一致性和泛化能力，可以显著改善用户体验，并减少模型产生不符合人类价值观或有害内容的可能性。未来，该方法可以进一步扩展到多模态偏好学习，例如图像和文本的联合偏好对齐。

📄 摘要（原文）

Preference learning has become the foundation of aligning Large Language Models (LLMs) with human intent. Popular methods, such as Direct Preference Optimization (DPO), minimize surrogate losses as proxies for the intractable pairwise ranking loss. However, we demonstrate that for the equicontinuous hypothesis sets typical of neural networks, these standard surrogates are theoretically inconsistent, yielding vacuous generalization guarantees. To resolve this, we formulate LLM alignment within a margin-shifted ranking framework. We derive rigorous $H$-consistency bounds that depend on enforcing a separation margin $γ$. Crucially, we extend this to Structure-Aware $H$-consistency, introducing a novel objective (SA-DPO) that adapts the margin based on the semantic distance between responses to handle synonyms and hard pairs. Finally, we analyze the trade-off between consistency and model limitations via the Margin-Capacity Profile, proving that heavy-tailed surrogates (such as the Polynomial Hinge family) offer superior consistency guarantees for capacity-bounded models compared to the standard logistic loss used in DPO.