Aligning CodeLLMs with Direct Preference Optimization

📄 arXiv: 2410.18585v1 📥 PDF

作者: Yibo Miao, Bofei Gao, Shanghaoran Quan, Junyang Lin, Daoguang Zan, Jiaheng Liu, Jian Yang, Tianyu Liu, Zhijie Deng

分类: cs.AI, cs.LG

发布日期: 2024-10-24

💡 一句话要点

提出基于DPO的代码大模型对齐方法，提升代码生成任务性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 代码大模型 对齐 直接偏好优化 DPO 代码生成

📋 核心要点

  1. 现有CodeLLM主要关注预训练和监督微调，忽略了对齐阶段的重要性，导致模型性能受限。
  2. 提出使用DPO算法进行CodeLLM对齐，利用偏好数据对自动生成细粒度的奖励模式，避免人工设计的粗粒度奖励。
  3. 构建了CodeLLM的DPO偏好对收集流程，实验证明该方法在MBPP和HumanEval等基准测试上显著提升了模型性能。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在各个领域取得了快速进展。其中，CodeLLMs因其能够辅助完成各种编程任务，并体现LLMs的决策和逻辑推理能力而备受关注。然而，当前的CodeLLMs主要集中于预训练和监督微调，而对于后训练LLMs至关重要的对齐阶段却缺乏深入研究。本文指出，常用的PPO算法可能并非CodeLLM对齐的最佳选择，因为其奖励规则通常是粗粒度的，并且可能存在缺陷。因此，我们提倡使用DPO算法来解决这个问题。DPO仅基于偏好数据对，即可自动呈现模型排序数据，从而产生比人工干预更稳健的细粒度奖励模式。我们还贡献了一个用于在CodeLLMs上收集DPO偏好对的流程。研究表明，我们的方法显著提高了现有CodeLLMs在MBPP和HumanEval等基准测试上的性能。

🔬 方法详解

问题定义：论文旨在解决CodeLLM对齐问题。现有方法，特别是基于PPO的对齐方法，依赖于人工设计的奖励函数，这些奖励函数通常是粗粒度的，难以准确反映代码质量的细微差别，从而导致对齐效果不佳。此外，人工设计的奖励规则容易存在偏差，影响模型的泛化能力。

核心思路：论文的核心思路是利用Direct Preference Optimization (DPO) 算法，直接从人类偏好数据中学习，避免了显式奖励函数的设计。DPO通过比较两个代码片段的优劣，隐式地学习奖励函数，从而实现更细粒度和更鲁棒的对齐。这种方法能够更好地捕捉人类对代码质量的偏好，提升模型的代码生成能力。

技术框架：整体流程包括以下几个阶段：1) 数据收集：构建一个包含代码片段偏好对的数据集，每个数据对包含一个“更好”的代码片段和一个“更差”的代码片段。2) 模型训练：使用DPO算法，基于偏好数据集训练CodeLLM。DPO算法通过优化一个目标函数，使得模型生成的代码片段与人类偏好对齐。3) 模型评估：在MBPP和HumanEval等基准测试上评估模型的性能。

关键创新：最重要的技术创新点在于将DPO算法应用于CodeLLM的对齐。与传统的PPO方法相比，DPO避免了人工设计奖励函数，而是直接从偏好数据中学习，从而实现了更细粒度和更鲁棒的对齐。此外，论文还提出了一个用于收集CodeLLM偏好对的pipeline，为DPO的训练提供了数据支持。

关键设计：DPO算法的关键在于其目标函数的设计，该目标函数旨在最大化“更好”的代码片段的概率，同时最小化“更差”的代码片段的概率。具体来说，DPO使用一个logistic回归模型来建模偏好概率，并使用交叉熵损失函数进行优化。论文中没有明确提及具体的参数设置或网络结构，但可以推断其使用了标准的Transformer架构作为CodeLLM的基础模型。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，基于DPO的CodeLLM对齐方法在MBPP和HumanEval等基准测试上取得了显著的性能提升。具体来说，该方法在MBPP上的pass@1指标提升了X%，在HumanEval上的pass@1指标提升了Y%（具体数值未知，论文中未给出）。这些结果表明，DPO能够有效地提升CodeLLM的代码生成能力，使其更符合人类的偏好。

🎯 应用场景

该研究成果可广泛应用于代码生成、代码补全、代码修复等领域。通过提升CodeLLM的代码生成质量，可以有效提高开发效率，降低软件开发成本。未来，该方法有望应用于更复杂的软件工程任务，例如自动化测试、代码审查和软件维护等，具有重要的实际应用价值和广阔的发展前景。

📄 摘要（原文）

The last year has witnessed the rapid progress of large language models (LLMs) across diverse domains. Among them, CodeLLMs have garnered particular attention because they can not only assist in completing various programming tasks but also represent the decision-making and logical reasoning capabilities of LLMs. However, current CodeLLMs mainly focus on pre-training and supervised fine-tuning scenarios, leaving the alignment stage, which is important for post-training LLMs, under-explored. This work first identifies that the commonly used PPO algorithm may be suboptimal for the alignment of CodeLLM because the involved reward rules are routinely coarse-grained and potentially flawed. We then advocate addressing this using the DPO algorithm. Based on only preference data pairs, DPO can render the model rank data automatically, giving rise to a fine-grained rewarding pattern more robust than human intervention. We also contribute a pipeline for collecting preference pairs for DPO on CodeLLMs. Studies show that our method significantly improves the performance of existing CodeLLMs on benchmarks such as MBPP and HumanEval.