REAL: Response Embedding-based Alignment for LLMs

📄 arXiv: 2409.17169v4 📥 PDF

作者: Honggen Zhang, Xufeng Zhao, Igor Molybog, June Zhang

分类: cs.CL, cs.AI

发布日期: 2024-09-17 (更新: 2025-06-04)

💡 一句话要点

REAL：基于响应嵌入对齐LLM，提升标注效率与模型性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型对齐 偏好学习 响应嵌入 数据选择 标注效率 离策略学习 对比学习

📋 核心要点

  1. 现有LLM对齐方法依赖人工标注的偏好数据，标注过程易引入偏差且成本高昂。
  2. REAL通过响应嵌入的相似性选择差异大的响应对，构建高质量且低偏差的训练数据。
  3. 实验表明，REAL能有效提升LLM对齐效果，降低标注错误，并显著减少标注工作量。

📝 摘要（中文）

为了对齐大型语言模型（LLM）与人类偏好，通常需要在监督数据集上进行训练。直接偏好优化（DPO）等算法依赖于根据人类标注排序的AI生成响应对。然而，响应对标注过程可能引入人类偏见，构建正确的偏好数据集是对齐流程中成本最高的部分。为了提高LLM对齐中的标注效率和质量，我们提出了REAL：基于响应嵌入对齐LLM，该策略旨在构建高质量的训练数据集，专注于从一组候选响应中获取较少歧义的偏好对进行标注。我们的选择过程基于独立于提示的嵌入响应的相似性，保证了选择过程的离策略性，避免了在训练期间自适应地测量相似性。在真实数据集SHP2和合成HH-RLHF基准上的实验结果表明，选择不同的响应对可以增强LLM的直接对齐，同时减少继承的标注错误。使用不同响应对对齐的模型在对话任务上获得了更好的边际和胜率。我们的研究结果表明，关注不同的响应对可以减少标签错误并提高LLM对齐效率，最多可节省65%的标注员工作。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）对齐方法，如直接偏好优化（DPO），依赖于人工标注的偏好数据集。然而，人工标注过程成本高昂，且容易引入标注者的主观偏见，导致数据集质量下降，进而影响LLM的对齐效果。因此，如何高效、高质量地构建偏好数据集是当前LLM对齐面临的关键问题。

核心思路：REAL的核心思路是，通过选择差异性较大的响应对进行标注，来降低标注的歧义性，从而提高数据集的质量。具体来说，该方法首先生成多个候选响应，然后计算这些响应的嵌入向量，并基于嵌入向量的相似度选择差异最大的响应对。这样选择的响应对更容易区分优劣，从而减少标注错误。

技术框架：REAL方法主要包含以下几个步骤：1) 使用LLM生成多个候选响应；2) 将每个响应通过预训练的嵌入模型（如Sentence-BERT）转换为嵌入向量；3) 计算所有响应对的嵌入向量相似度；4) 选择相似度最低（即差异最大）的响应对进行人工标注；5) 使用标注后的数据训练LLM。整个过程是离策略的，即响应的选择不依赖于训练过程中的模型参数。

关键创新：REAL的关键创新在于，它提出了一种基于响应嵌入相似度的响应对选择策略，用于构建高质量的偏好数据集。与传统的随机选择或基于模型预测的选择方法相比，REAL能够更有效地选择差异性较大的响应对，从而降低标注的歧义性，减少标注错误。这种方法不依赖于训练过程中的模型参数，保证了选择过程的离策略性。

关键设计：在REAL方法中，关键的设计包括：1) 使用高质量的预训练嵌入模型（如Sentence-BERT）来生成响应的嵌入向量；2) 使用余弦相似度等指标来衡量响应嵌入向量的相似度；3) 在选择响应对时，可以设置一个相似度阈值，只选择相似度低于该阈值的响应对进行标注。此外，还可以考虑使用主动学习等技术，进一步优化响应对的选择策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SHP2和HH-RLHF数据集上的实验结果表明，使用REAL方法选择的响应对训练的LLM，在对话任务上获得了更好的边际和胜率。与随机选择的响应对相比，REAL能够节省高达65%的标注工作量，同时降低标注错误，显著提升LLM的对齐效率。

🎯 应用场景

REAL方法可广泛应用于各种需要对齐LLM与人类偏好的场景，例如对话系统、文本生成、代码生成等。通过降低标注成本和提高数据质量，REAL能够加速LLM的对齐过程，并提升LLM在实际应用中的性能和安全性。该方法还有助于减少LLM中的偏见和有害内容。

📄 摘要（原文）

Aligning large language models (LLMs) to human preferences is a crucial step in building helpful and safe AI tools, which usually involve training on supervised datasets. Popular algorithms such as Direct Preference Optimization (DPO) rely on pairs of AI-generated responses ranked according to human annotation. The response pair annotation process might bring human bias. Building a correct preference dataset is the costly part of the alignment pipeline. To improve annotation efficiency and quality in the LLMs alignment, we propose REAL: Response Embedding-based Alignment for LLMs, a strategy for constructing a high-quality training dataset that focuses on acquiring the less ambiguous preference pairs for labeling out of a set of response candidates. Our selection process is based on the similarity of embedding responses independently of prompts, which guarantees the selection process in an off-policy setting, avoiding adaptively measuring the similarity during the training. Experimental results on real-world dataset SHP2 and synthetic HH-RLHF benchmarks indicate that choosing dissimilar response pairs enhances the direct alignment of LLMs while reducing inherited labeling errors. The model aligned with dissimilar response pairs obtained a better margin and win rate on the dialogue task. Our findings suggest that focusing on distinct pairs can reduce the label error and improve LLM alignment efficiency, saving up to $65\%$ of annotators' work.