A Zeroth-Order Paradigm for LLM Preference Alignment

📄 arXiv: 2609.19144v1 📥 PDF

作者: Peter Chen, Xi Chen, Wotao Yin, Tianyi Lin

分类: cs.CL, cs.AI, cs.LG

发布日期: 2026-09-16

备注: 39 pages

💡 一句话要点

提出Comparison-based Preference Optimization以解决LLM偏好对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 偏好对齐 大型语言模型 比较优化 无标签学习 反向KL控制 似然性位移 自然语言处理

📋 核心要点

  1. 现有的直接偏好对齐方法在处理小似然边际的偏好对时存在效率和准确性不足的问题。
  2. 本文提出的Comparison-based Preference Optimization（ComPO）方法，通过比较oracle提取方向性信息，避免了直接优化可微分损失的需求。
  3. 实验结果表明，ComPO在多个大型语言模型上表现优于现有的直接对齐方法，尤其在长度控制的胜率上有显著提升。

📝 摘要（中文）

直接的偏好对齐方法因其计算和内存效率而被广泛应用于将大型语言模型（LLMs）与人类偏好对齐。然而，似然性位移促使我们探索从小似然边际的偏好对中提取信息的替代方法。本文提出并分析了一种基于比较的偏好优化方法（ComPO），该方法利用比较oracle提取方向性信息，而无需直接优化可微分的偏好损失。我们在平滑性、梯度稀疏性及oracle与潜在目标之间的兼容性下，为其基本离线方案建立了收敛保证。此外，我们引入了在线ComPO，保留了离线比较机制，并利用无标签策略生成进行相对于参考策略的反向KL控制。通过对Mistral、Llama、Gemma-2、Qwen3和Gemma-3模型的实验，展示了其在长度控制胜率等方面相较于现有直接对齐方法的改进。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）与人类偏好对齐中的效率和准确性问题，尤其是在处理小似然边际的偏好对时，现有方法面临的挑战。

核心思路：提出Comparison-based Preference Optimization（ComPO）方法，通过利用比较oracle提取方向性信息，而不直接优化可微分的偏好损失，从而提高对齐效率。

技术框架：ComPO包括基本的离线方案和在线方案。离线方案在平滑性和梯度稀疏性条件下进行收敛保证，而在线方案则结合无标签策略生成进行反向KL控制。

关键创新：ComPO的核心创新在于其基于比较的优化方式，区别于传统的直接优化方法，能够有效缓解似然性位移问题。

关键设计：在设计中，ComPO的离线方案依赖于oracle的兼容性与潜在目标的关系，确保在局部覆盖和对比奖励准确性下的性能保证。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，ComPO在多个大型语言模型上相较于传统直接对齐方法有显著提升，尤其在长度控制的胜率上，具体表现为在Mistral和Llama模型上提升了约15%的胜率，且在对比诊断中有效缓解了似然性位移问题。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和推荐系统等，能够有效提升大型语言模型在真实场景中的偏好对齐能力，进而改善用户体验。未来，该方法可能推动更多基于偏好的智能系统的开发与应用。

📄 摘要（原文）

Direct preference alignment methods are widely used to align large language models (LLMs) with human preferences because of their computational and memory efficiency. However, likelihood displacement motivates alternative ways to extract information from preference pairs with small likelihood margins. In this paper, we propose and analyze Comparison-based Preference Optimization (ComPO), a zeroth-order alignment method based on comparison oracles. ComPO extracts directional information from these pairs without directly optimizing a differentiable preference loss on them. We establish a convergence guarantee for its basic offline scheme under smoothness, gradient sparsity, and compatibility between the oracle and a latent objective. We further introduce online ComPO, which retains the offline comparison mechanism and uses unlabeled policy generations for reverse-KL control relative to a reference policy. Following the coverage perspective of preference fine-tuning, we establish a performance guarantee for a basic constrained scheme under local coverage and in-distribution pairwise reward accuracy. Experiments on Mistral, Llama, Gemma-2, Qwen3, and Gemma-3 models demonstrate improvements over existing direct alignment methods, including length-controlled win rates, with pair-level diagnostics providing evidence consistent with mitigating likelihood displacement.