Disentangling Preference Representation and Text Generation for Efficient Individual Preference Alignment

📄 arXiv: 2412.20834v1 📥 PDF

作者: Jianfei Zhang, Jun Bai, Bei Li, Yanmeng Wang, Rumei Li, Chenghua Lin, Wenge Rong

分类: cs.CL, cs.AI

发布日期: 2024-12-30

备注: Coling 2025

💡 一句话要点

提出个性化偏好对齐方法以提高LLM交互效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化对齐 大型语言模型 文本生成 偏好表示 效率提升

📋 核心要点

  1. 现有方法在个性化对齐LLMs时效率低下，无法满足多样化的人类偏好需求。
  2. 本文提出通过解耦偏好表示与文本生成来提高个体偏好对齐的效率，形成新的对齐范式。
  3. 实验结果显示，该方法在对齐质量上与现有方法相当，同时显著减少了训练时间，提升了效率。

📝 摘要（中文）

将大型语言模型（LLMs）与人类偏好对齐被证明对提升人机交互质量至关重要。然而，由于人类价值观的多样性，仅依赖一般偏好进行对齐是不够的。为此，基于个体反馈对LLMs进行个性化调整成为一种有前景的解决方案。然而，这种方法在对齐算法的效率上面临挑战。本文提出了一种灵活的个体偏好对齐范式，通过将偏好表示与文本生成解耦，从根本上提高了效率。我们在多个文本生成任务上验证了该方法，结果表明其在对齐质量上与基于PEFT的方法相当或更优，同时在每个新个体偏好的额外训练时间上减少了80%至90%。

🔬 方法详解

问题定义：本文旨在解决大型语言模型（LLMs）在个性化对齐过程中效率低下的问题。现有方法往往无法有效处理个体偏好的多样性，导致训练时间过长。

核心思路：论文的核心思路是将偏好表示与文本生成过程解耦，从而在保持对齐质量的同时提高训练效率。这种设计使得模型能够更灵活地适应不同个体的偏好。

技术框架：整体架构包括两个主要模块：偏好表示模块和文本生成模块。偏好表示模块负责捕捉个体的偏好特征，而文本生成模块则利用这些特征生成符合个体需求的文本。

关键创新：最重要的技术创新在于偏好表示与文本生成的解耦设计。这一设计与现有的基于PEFT的方法本质上不同，后者通常将二者紧密结合，导致效率低下。

关键设计：在参数设置上，本文采用了动态调整的学习率策略，以适应不同个体的偏好变化。同时，损失函数设计上引入了个体偏好的权重，以增强模型对个体反馈的敏感性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，本文提出的方法在多个文本生成任务中表现优异，生成的文本质量与PEFT基线相当或更好。同时，训练时间减少了80%至90%，显著提升了个性化对齐的效率。

🎯 应用场景

该研究的潜在应用领域包括个性化聊天机器人、推荐系统以及任何需要根据用户反馈进行动态调整的智能系统。通过提高个体偏好对齐的效率，能够显著提升用户体验和满意度，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Aligning Large Language Models (LLMs) with general human preferences has been proved crucial in improving the interaction quality between LLMs and human. However, human values are inherently diverse among different individuals, making it insufficient to align LLMs solely with general preferences. To address this, personalizing LLMs according to individual feedback emerges as a promising solution. Nonetheless, this approach presents challenges in terms of the efficiency of alignment algorithms. In this work, we introduce a flexible paradigm for individual preference alignment. Our method fundamentally improves efficiency by disentangling preference representation from text generation in LLMs. We validate our approach across multiple text generation tasks and demonstrate that it can produce aligned quality as well as or better than PEFT-based methods, while reducing additional training time for each new individual preference by $80\%$ to $90\%$ in comparison with them.