Hybrid Alignment Training for Large Language Models

📄 arXiv: 2406.15178v1 📥 PDF

作者: Chenglong Wang, Hang Zhou, Kaiyan Chang, Bei Li, Yongyu Mu, Tong Xiao, Tongran Liu, Jingbo Zhu

分类: cs.CL

发布日期: 2024-06-21

备注: accepted by ACL (Findings) 2024

💡 一句话要点

提出混合对齐训练Hbat，解决大语言模型指令遵循与偏好对齐冲突问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 对齐训练 指令遵循 人类偏好 混合训练 弹性权重巩固 PPO DPO

📋 核心要点

  1. 现有两阶段对齐训练中，指令遵循和人类偏好对齐目标可能冲突，导致模型无法同时满足两者。
  2. 提出混合对齐训练（Hbat），通过交替优化不同目标，促进指令遵循和偏好对齐任务的协作。
  3. 实验表明，Hbat在摘要和对话任务上显著优于基线，且在使用PPO和DPO时均优于传统两阶段训练。

📝 摘要（中文）

对齐训练对于使大型语言模型（LLM）能够满足人类意图和偏好至关重要。它通常基于具有不同目标的两个阶段执行：指令遵循对齐和人类偏好对齐。然而，按顺序将LLM与这些目标对齐存在一个固有的问题：这些目标可能冲突，并且LLM无法保证同时很好地与指令和人类偏好对齐。为了解决这些问题，在这项工作中，我们提出了一种混合对齐训练（Hbat）方法，该方法基于交替对齐和改进的弹性权重巩固方法。基本思想是在对齐训练期间在不同目标之间交替，以便在两个对齐任务之间实现更好的协作。我们在摘要和对话任务上对Hbat进行了实验。实验结果表明，所提出的Hbat可以显着优于所有基线。值得注意的是，当同时使用近端策略优化和直接偏好优化时，Hbat相对于传统的两阶段对齐训练产生了持续的性能提升。

🔬 方法详解

问题定义：现有的大语言模型对齐训练通常采用两阶段方法：先进行指令遵循对齐，再进行人类偏好对齐。这种顺序训练方式的痛点在于，指令遵循的目标和人类偏好的目标可能存在冲突，导致模型在优化人类偏好的同时，可能会忘记或弱化指令遵循能力，反之亦然。因此，如何让模型同时兼顾指令遵循和人类偏好，是一个亟待解决的问题。

核心思路：Hbat的核心思路是通过交替训练的方式，让模型在指令遵循和人类偏好之间进行平衡。类似于多任务学习中的交替训练策略，Hbat在训练过程中不断切换优化目标，使得模型能够同时学习到指令的含义和人类的偏好，从而避免了顺序训练中出现的冲突问题。这种交替训练的方式，可以看作是一种正则化手段，防止模型过度拟合单一目标。

技术框架：Hbat的整体框架是在传统的两阶段对齐训练的基础上进行改进。它不再是先完成指令遵循对齐，再进行人类偏好对齐，而是将这两个阶段交替进行。具体来说，Hbat包含以下几个主要步骤：1) 使用指令数据进行指令遵循对齐；2) 使用人类偏好数据进行偏好对齐；3) 使用改进的弹性权重巩固方法，防止模型在切换目标时忘记之前学习到的知识；4) 重复步骤1-3，直到模型收敛。

关键创新：Hbat最重要的技术创新点在于提出了混合对齐训练的框架，通过交替优化指令遵循和人类偏好，解决了传统两阶段训练中目标冲突的问题。此外，Hbat还采用了改进的弹性权重巩固方法，进一步提升了模型的性能。与现有方法的本质区别在于，Hbat不再是顺序地优化不同的目标，而是同时考虑多个目标，从而实现了更好的对齐效果。

关键设计：Hbat的关键设计包括：1) 交替训练的频率：需要根据具体任务和数据集进行调整，以达到最佳的平衡效果；2) 弹性权重巩固方法的改进：论文中可能对弹性权重巩固方法进行了修改，以更好地适应混合对齐训练的场景；3) 损失函数的设计：指令遵循对齐和人类偏好对齐可能使用不同的损失函数，需要仔细设计，以保证模型的训练效果。

📊 实验亮点

实验结果表明，Hbat在摘要和对话任务上均显著优于基线方法，包括传统的两阶段对齐训练。无论使用近端策略优化（PPO）还是直接偏好优化（DPO），Hbat都能带来持续的性能提升。具体的性能数据（例如，在特定指标上的提升幅度）未知，但总体而言，Hbat的实验结果证明了其有效性和优越性。

🎯 应用场景

Hbat方法可广泛应用于各种需要大语言模型与人类意图对齐的场景，例如智能客服、对话系统、文本摘要、代码生成等。通过提升模型对指令的理解和对人类偏好的把握，可以显著改善用户体验，提高任务完成的质量和效率。未来，该方法有望进一步推广到其他模态，例如图像、语音等，实现更智能、更人性化的人工智能系统。

📄 摘要（原文）

Alignment training is crucial for enabling large language models (LLMs) to cater to human intentions and preferences. It is typically performed based on two stages with different objectives: instruction-following alignment and human-preference alignment. However, aligning LLMs with these objectives in sequence suffers from an inherent problem: the objectives may conflict, and the LLMs cannot guarantee to simultaneously align with the instructions and human preferences well. To response to these, in this work, we propose a Hybrid Alignment Training (Hbat) approach, based on alternating alignment and modified elastic weight consolidation methods. The basic idea is to alternate between different objectives during alignment training, so that better collaboration can be achieved between the two alignment tasks.We experiment with Hbat on summarization and dialogue tasks. Experimental results show that the proposed \textsc{Hbat} can significantly outperform all baselines. Notably, Hbat yields consistent performance gains over the traditional two-stage alignment training when using both proximal policy optimization and direct preference optimization.