Automatic Pair Construction for Contrastive Post-training

📄 arXiv: 2310.02263v2 📥 PDF

作者: Canwen Xu, Corby Rosset, Ethan C. Chau, Luciano Del Corro, Shweti Mahajan, Julian McAuley, Jennifer Neville, Ahmed Hassan Awadallah, Nikhil Rao

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-03 (更新: 2024-04-03)

备注: NAACL 2024 (Findings)

💡 一句话要点

提出自动对比数据构建方法以提升大语言模型对齐效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 对比学习 大语言模型 自动化数据构建 模型对齐 数据课程学习

📋 核心要点

  1. 现有方法在对齐大型语言模型时面临数据构建效率低和效果不佳的挑战。
  2. 论文提出通过自动化构建对比数据，利用多种模型的偏好对来提升对齐效果。
  3. 实验结果表明，DPO方法在对比训练中显著提升了模型性能，超越了传统的SFT基线。

📝 摘要（中文）

对齐是引导大型语言模型（LLMs）朝向人类偏好的重要步骤。本文提出了一种自动构建对比数据的方法，利用来自不同强度模型（如InstructGPT、ChatGPT和GPT-4）的偏好对。我们将SLiC和DPO的对比技术与SFT基线进行比较，发现即使在继续SFT饱和后，DPO仍提供了阶跃式的改进。此外，我们探索了一种对比后训练的数据课程学习方案，从“简单”对开始学习，逐步过渡到“困难”对，进一步改善对齐效果。最后，我们扩大实验规模，使用更多数据和更大模型（如Orca）进行训练。值得注意的是，我们的自动对比后训练显著提升了Orca的性能，使其超越了ChatGPT。

🔬 方法详解

问题定义：本文旨在解决大型语言模型对齐过程中数据构建的低效问题。现有方法在生成对比数据时依赖人工标注，导致效率低下且效果不理想。

核心思路：论文提出了一种自动化的对比数据构建方法，利用不同强度模型生成的偏好对，以提高对齐效果。通过这种方式，模型能够更有效地学习人类偏好。

技术框架：整体架构包括数据生成模块、对比训练模块和评估模块。数据生成模块负责从多个模型中提取偏好对，训练模块则使用这些对进行对比学习，评估模块用于验证模型性能。

关键创新：最重要的技术创新在于DPO方法的引入，它在对比训练中提供了显著的性能提升，与传统的SFT方法相比，DPO能够在模型性能饱和后继续改善。

关键设计：在设计中，采用了数据课程学习策略，从简单对开始，逐步过渡到复杂对。此外，损失函数和网络结构经过优化，以适应对比学习的需求。具体参数设置和训练细节在实验部分进行了详细描述。

📊 实验亮点

实验结果显示，DPO方法在对比训练中显著提升了Orca模型的性能，使其超越了ChatGPT。具体而言，DPO方法在SFT饱和后仍能提供阶跃式的性能提升，证明了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括智能对话系统、个性化推荐和人机交互等。通过提升大型语言模型的对齐效果，可以更好地满足用户需求，增强用户体验。未来，该方法有望在更多实际场景中推广应用，推动智能系统的进一步发展。

📄 摘要（原文）

Alignment serves as an important step to steer large language models (LLMs) towards human preferences. In this paper, we propose an automatic way to construct contrastive data for LLM, using preference pairs from multiple models of varying strengths (e.g., InstructGPT, ChatGPT and GPT-4). We compare the contrastive techniques of SLiC and DPO to SFT baselines and find that DPO provides a step-function improvement even after continuing SFT saturates. We also explore a data curriculum learning scheme for contrastive post-training, which starts by learning from "easier" pairs and transitioning to "harder" ones, which further improves alignment. Finally, we scale up our experiments to train with more data and larger models like Orca. Remarkably, our automatic contrastive post-training further improves the performance of Orca, already a state-of-the-art instruction learning model tuned with GPT-4 outputs, to outperform ChatGPT.