DiffPO: Diffusion-styled Preference Optimization for Efficient Inference-Time Alignment of Large Language Models

📄 arXiv: 2503.04240v3 📥 PDF

作者: Ruizhe Chen, Wenhao Chai, Zhifei Yang, Xiaotian Zhang, Joey Tianyi Zhou, Tony Quek, Soujanya Poria, Zuozhu Liu

分类: cs.CL

发布日期: 2025-03-06 (更新: 2025-05-25)

备注: ACL 2025

💡 一句话要点

提出DiffPO，通过扩散模型优化LLM推理时对齐，提升效率与效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推理时对齐 扩散模型 偏好优化 句子级别生成

📋 核心要点

  1. 现有推理时对齐方法依赖于策略特定的价值函数，面临可扩展性限制和推理延迟的挑战。
  2. DiffPO采用扩散模型，在句子级别直接优化对齐，无需token级别生成，降低了推理延迟。
  3. 实验表明，DiffPO在多个基准测试中优于现有方法，并能有效提升Llama-3-70B等大型模型的性能。

📝 摘要（中文）

本文提出了一种新颖的扩散风格偏好优化方法（DiffPO），为大型语言模型（LLM）与人类对齐提供了一种高效且与策略无关的解决方案。DiffPO通过直接在句子级别执行对齐，避免了token级别生成带来的时间延迟。DiffPO被设计为一个即插即用模块，可以无缝集成到各种基础模型中，以增强它们的对齐能力。在AlpacaEval 2、MT-bench和HH-RLHF上的大量实验表明，DiffPO在各种设置下都实现了卓越的对齐性能，并在对齐质量和推理时延迟之间取得了良好的平衡。此外，DiffPO还展示了与模型无关的可扩展性，显著提高了诸如Llama-3-70B等大型模型的性能。

🔬 方法详解

问题定义：现有推理时对齐方法，例如基于强化学习的方法，通常需要训练特定于策略的价值函数，这限制了它们的可扩展性。此外，token级别的生成过程也会导致显著的推理延迟，尤其是在处理长文本时。因此，如何设计一种高效且与策略无关的推理时对齐方法，以提升LLM的性能，是一个亟待解决的问题。

核心思路：DiffPO的核心思路是利用扩散模型的能力，直接在句子级别进行偏好优化。通过将对齐问题转化为一个去噪过程，DiffPO可以避免token级别的生成，从而显著降低推理延迟。此外，DiffPO的设计使其可以作为一个即插即用模块，方便地集成到各种基础模型中，实现与模型无关的对齐。

技术框架：DiffPO的整体框架包含以下几个主要步骤：1) 给定一个LLM的初始输出句子；2) 对该句子添加噪声，将其转化为一个噪声表示；3) 使用训练好的扩散模型，根据人类偏好，逐步去除噪声，生成一个更符合人类偏好的句子。该扩散模型以初始噪声句子和偏好信息作为输入，通过迭代去噪过程，逐步优化句子的质量。

关键创新：DiffPO的关键创新在于其利用扩散模型进行句子级别的偏好优化。与传统的token级别生成方法相比，DiffPO避免了token级别的推理延迟，显著提升了推理效率。此外，DiffPO的设计使其可以作为一个与模型无关的模块，方便地集成到各种LLM中，实现广泛的应用。

关键设计：DiffPO的关键设计包括：1) 扩散模型的选择：论文可能采用了某种特定的扩散模型架构，例如DDPM或DDIM，并对其进行了适当的修改以适应句子级别的优化；2) 偏好信息的编码方式：论文需要设计一种有效的方式来编码人类偏好信息，并将其融入到扩散模型的去噪过程中；3) 损失函数的设计：论文需要设计一个合适的损失函数，以指导扩散模型的训练，使其能够生成更符合人类偏好的句子。具体参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DiffPO在AlpacaEval 2、MT-bench和HH-RLHF等基准测试中取得了显著的性能提升。实验结果表明，DiffPO在各种设置下都优于现有的推理时对齐方法，并在对齐质量和推理时延迟之间取得了良好的平衡。此外，DiffPO还成功地提升了Llama-3-70B等大型模型的性能，验证了其与模型无关的可扩展性。具体提升幅度未知。

🎯 应用场景

DiffPO具有广泛的应用前景，可用于提升各种LLM的对齐能力，使其更好地服务于人类。例如，可以应用于智能客服、文本生成、机器翻译等领域，生成更符合用户需求和偏好的文本内容。此外，DiffPO的即插即用特性使其易于部署和集成，有望加速LLM在各行业的应用。

📄 摘要（原文）

Inference-time alignment provides an efficient alternative for aligning LLMs with humans. However, these approaches still face challenges, such as limited scalability due to policy-specific value functions and latency during the inference phase. In this paper, we propose a novel approach, Diffusion-styled Preference Optimization (\model), which provides an efficient and policy-agnostic solution for aligning LLMs with humans. By directly performing alignment at sentence level, \model~avoids the time latency associated with token-level generation. Designed as a plug-and-play module, \model~can be seamlessly integrated with various base models to enhance their alignment. Extensive experiments on AlpacaEval 2, MT-bench, and HH-RLHF demonstrate that \model~achieves superior alignment performance across various settings, achieving a favorable trade-off between alignment quality and inference-time latency. Furthermore, \model~demonstrates model-agnostic scalability, significantly improving the performance of large models such as Llama-3-70B.