Personalized Steering of Large Language Models: Versatile Steering Vectors Through Bi-directional Preference Optimization
作者: Yuanpu Cao, Tianrong Zhang, Bochuan Cao, Ziyi Yin, Lu Lin, Fenglong Ma, Jinghui Chen
分类: cs.CL, cs.LG
发布日期: 2024-05-28 (更新: 2024-07-29)
💡 一句话要点
提出双向偏好优化方法，生成可控的LLM个性化引导向量。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 引导向量 偏好优化 个性化 模型对齐
📋 核心要点
- 现有引导向量提取方法效果不佳，尤其在对齐场景中易失败，无法有效控制LLM行为。
- 提出双向偏好优化方法，使引导向量直接影响偏好数据对的生成概率，更精确表达目标行为。
- 实验验证了该方法在开放生成、AI角色引导及对齐场景中的有效性，并展示了其迁移性和协同性。
📝 摘要（中文）
本文提出了一种新颖的方法，通过双向偏好优化来生成更有效的引导向量，从而实现对大型语言模型（LLM）行为的个性化控制。现有方法直接从人类偏好数据的激活中提取引导向量，效果欠佳且容易失败，尤其是在对齐相关场景中。本文方法允许引导向量直接影响对比人类偏好数据对的生成概率，从而更精确地表示目标行为。通过调整引导向量的方向和幅度，实现了对所需行为的个性化控制。在各种开放式生成任务（特别是引导AI角色）上的大量实验验证了该方法的有效性。此外，还全面研究了与对齐相关的关键场景，如管理真实性、减轻幻觉和解决越狱攻击。该方法在这些场景中仍然表现出出色的引导效果。最后，展示了引导向量在不同模型/LoRA之间的可迁移性，并强调了同时应用多个向量的协同优势。
🔬 方法详解
问题定义：现有方法在提取LLM的引导向量时，直接从人类偏好数据的激活中提取，这导致引导向量的质量不高，尤其是在需要模型对齐人类价值观的场景下，例如保证生成内容的真实性、避免模型产生幻觉或防止恶意用户利用漏洞进行攻击（jailbreaking）。这些方法无法有效地控制LLM的行为，并且容易失败。
核心思路：本文的核心思路是通过双向偏好优化来改进引导向量的生成。具体来说，不是直接从激活中提取向量，而是让引导向量直接影响对比人类偏好数据对的生成概率。这意味着引导向量的目标是使模型更倾向于生成人类更喜欢的答案，同时避免生成人类不喜欢的答案。这种方法能够更精确地表示目标行为，并允许通过调整向量的方向和幅度来控制行为的强度。
技术框架：该方法的核心在于优化引导向量，使其能够区分人类偏好的输出。框架包含以下几个关键步骤：1) 收集对比的人类偏好数据对，即对于同一个输入，人类更喜欢哪个输出。2) 定义一个目标函数，该函数衡量引导向量对生成偏好输出的影响。这个目标函数通常基于生成概率的差异。3) 使用优化算法（如梯度下降）来调整引导向量，使其最大化目标函数。4) 将优化后的引导向量应用到LLM的特定层，通过调整该层的激活来引导模型的输出。
关键创新：该方法最重要的创新点在于其双向偏好优化机制。与直接从激活中提取引导向量的方法不同，该方法通过优化引导向量来直接影响生成概率，从而更精确地控制模型的行为。这种方法能够更好地捕捉人类的偏好，并生成更符合人类期望的输出。
关键设计：关键设计包括：1) 损失函数的设计，用于衡量引导向量对生成偏好输出的影响。常用的损失函数包括基于交叉熵的损失函数和基于排序的损失函数。2) 优化算法的选择，用于调整引导向量。常用的优化算法包括梯度下降、Adam等。3) 引导向量应用的位置，即选择LLM的哪些层来应用引导向量。通常选择Transformer架构的中间层，因为这些层对模型的行为影响较大。4) 引导向量的幅度控制，通过调整向量的幅度来控制行为的强度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在各种开放式生成任务中表现出色，尤其是在引导AI角色方面。在对齐相关场景中，如管理真实性、减轻幻觉和解决越狱攻击，该方法仍然表现出显著的引导效果。此外，实验还证明了引导向量在不同模型和LoRA之间的可迁移性，以及同时应用多个向量的协同优势。具体性能数据未知。
🎯 应用场景
该研究成果可广泛应用于个性化AI助手、内容生成、对话系统等领域。通过引导向量，可以定制LLM的行为，使其更符合特定用户的需求和偏好。例如，可以创建一个更诚实、更安全、更符合特定风格的AI助手。此外，该方法还可以用于提高LLM在特定任务上的性能，例如在医疗领域生成更准确的诊断报告。
📄 摘要（原文）
Researchers have been studying approaches to steer the behavior of Large Language Models (LLMs) and build personalized LLMs tailored for various applications. While fine-tuning seems to be a direct solution, it requires substantial computational resources and may significantly affect the utility of the original LLM. Recent endeavors have introduced more lightweight strategies, focusing on extracting "steering vectors" to guide the model's output toward desired behaviors by adjusting activations within specific layers of the LLM's transformer architecture. However, such steering vectors are directly extracted from the activations of human preference data and thus often lead to suboptimal results and occasional failures, especially in alignment-related scenarios. This work proposes an innovative approach that could produce more effective steering vectors through bi-directional preference optimization. Our method is designed to allow steering vectors to directly influence the generation probability of contrastive human preference data pairs, thereby offering a more precise representation of the target behavior. By carefully adjusting the direction and magnitude of the steering vector, we enabled personalized control over the desired behavior across a spectrum of intensities. Extensive experimentation across various open-ended generation tasks, particularly focusing on steering AI personas, has validated the efficacy of our approach. Moreover, we comprehensively investigate critical alignment-concerning scenarios, such as managing truthfulness, mitigating hallucination, and addressing jailbreaking attacks. Remarkably, our method can still demonstrate outstanding steering effectiveness across these scenarios. Furthermore, we showcase the transferability of our steering vectors across different models/LoRAs and highlight the synergistic benefits of applying multiple vectors simultaneously.