Parameter-Efficient Tuning Helps Language Model Alignment

📄 arXiv: 2310.00819v1 📥 PDF

作者: Tianci Xue, Ziqi Wang, Heng Ji

分类: cs.CL

发布日期: 2023-10-01

备注: 21 pages, 11 figures, 5 tables

💡 一句话要点

提出MEET方法以解决语言模型对人类偏好的对齐问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 人类偏好对齐 参数高效调优 可控生成 强化学习

📋 核心要点

  1. 现有的对齐方法如RLHF和DPO存在只能对齐单一偏好或数据格式限制等不足。
  2. 本文提出了一种名为MEET的方法，通过参数高效调优优化控制标记，提升模型的可控生成能力。
  3. 在两个知名数据集上，MEET方法在控制生成质量上显著优于现有方法，提升幅度明显。

📝 摘要（中文）

对大型语言模型（LLMs）进行人类偏好对齐是确保其安全性和实用性的关键。现有方法主要依赖于强化学习（RLHF）和直接偏好优化（DPO），但存在只能对齐单一偏好或数据格式限制等缺陷。为此，本文提出了一种基于参数高效调优的控制生成方法，通过优化控制标记，使得模型能够在推理时根据需求生成不同偏好的输出。实验结果表明，所提方法在两个知名数据集上显著提升了控制生成的质量。

🔬 方法详解

问题定义：本文旨在解决大型语言模型与人类偏好对齐的挑战，现有方法在对齐过程中存在只能处理单一偏好或数据格式限制的问题。

核心思路：提出MEET方法，通过参数高效调优优化控制标记，使得模型在训练和推理时能够灵活应对多种偏好，提升生成质量。

技术框架：整体流程包括两个主要阶段：首先使用参数高效调优（如提示调优和低秩适应）优化控制标记，然后对模型进行微调以实现可控生成。

关键创新：MEET的核心创新在于将参数高效调优应用于控制标记的优化，这一方法与现有依赖特殊标记或手工提示的控制生成方法本质上有所不同。

关键设计：在参数设置上，采用了轻量级的控制标记，并设计了适应不同偏好的损失函数，确保模型在多种偏好下均能有效生成高质量输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，MEET方法在两个知名数据集上相比于现有方法，控制生成质量提升了显著的幅度，具体性能数据未详细披露，但提升效果明显，验证了方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、对话系统和内容生成等场景，能够帮助这些系统更好地理解和响应用户的多样化需求。未来，该方法有望推动人机交互的智能化和个性化发展。

📄 摘要（原文）

Aligning large language models (LLMs) with human preferences is essential for safe and useful LLMs. Previous works mainly adopt reinforcement learning (RLHF) and direct preference optimization (DPO) with human feedback for alignment. Nevertheless, they have certain drawbacks. One such limitation is that they can only align models with one preference at the training time (e.g., they cannot learn to generate concise responses when the preference data prefers detailed responses), or have certain constraints for the data format (e.g., DPO only supports pairwise preference data). To this end, prior works incorporate controllable generations for alignment to make language models learn multiple preferences and provide outputs with different preferences during inference if asked. Controllable generation also offers more flexibility with regard to data format (e.g., it supports pointwise preference data). Specifically, it uses different control tokens for different preferences during training and inference, making LLMs behave differently when required. Current controllable generation methods either use a special token or hand-crafted prompts as control tokens, and optimize them together with LLMs. As control tokens are typically much lighter than LLMs, this optimization strategy may not effectively optimize control tokens. To this end, we first use parameter-efficient tuning (e.g., prompting tuning and low-rank adaptation) to optimize control tokens and then fine-tune models for controllable generations, similar to prior works. Our approach, alignMEnt with parameter-Efficient Tuning (MEET), improves the quality of control tokens, thus improving controllable generation quality consistently by an apparent margin on two well-recognized datasets compared with prior works.