SALMON: Self-Alignment with Instructable Reward Models

📄 arXiv: 2310.05910v2 📥 PDF

作者: Zhiqing Sun, Yikang Shen, Hongxin Zhang, Qinhong Zhou, Zhenfang Chen, David Cox, Yiming Yang, Chuang Gan

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-09 (更新: 2024-04-09)

备注: Previous Title: SALMON: Self-Alignment with Principle-Following Reward Models. Accepted to ICLR 2024. Project page: https://github.com/IBM/SALMON

💡 一句话要点

提出SALMON以解决人类反馈依赖问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 大语言模型 人类反馈 强化学习 奖励模型 AI助手 对齐方法

📋 核心要点

  1. 现有的SFT和RLHF方法依赖高质量的人类注释，导致在复杂任务中难以获得一致的响应示范和偏好。
  2. SALMON方法通过可指令奖励模型，仅需少量人类定义的原则，便能有效对齐基础语言模型，减少对人类反馈的依赖。
  3. Dromedary-2在多个基准数据集上表现优异，超越了LLaMA-2-Chat-70b等多个最先进的AI系统，展示了该方法的有效性。

📝 摘要（中文）

监督微调（SFT）结合人类反馈强化学习（RLHF）是对齐基于大语言模型（LLM）AI代理的有效范式，但其依赖高质量人类注释的局限性使得在复杂任务中的应用面临挑战。本文提出了一种新方法SALMON，仅需少量人类定义的原则即可对齐基础语言模型，且性能优越。核心在于可指令奖励模型，该模型基于合成偏好数据训练，能够根据任意人类定义的原则生成奖励分数。通过在RL训练阶段调整这些原则，我们能够完全控制偏好，进而影响RL训练的策略模型行为，减少对在线人类偏好的依赖。将该方法应用于LLaMA-2-70b基础语言模型，开发了AI助手Dromedary-2，仅用6个示例和31个原则，Dromedary-2在多个基准数据集上显著超越了多种最先进的AI系统。我们已开源代码和模型权重，以促进对基于LLM的AI代理的高效对齐研究。

🔬 方法详解

问题定义：本文旨在解决现有基于人类反馈的对齐方法在复杂任务中对高质量人类注释的依赖问题，导致应用受限。

核心思路：SALMON方法通过可指令奖励模型，利用少量人类定义的原则生成奖励分数，从而在RL训练中实现对偏好的完全控制，减少对在线人类偏好的依赖。

技术框架：该方法的整体架构包括可指令奖励模型的训练、RL训练阶段的原则调整以及策略模型的优化，形成一个闭环反馈系统。

关键创新：SALMON的核心创新在于可指令奖励模型的设计，使得模型能够根据任意人类定义的原则生成奖励，突破了传统方法对高质量人类反馈的依赖。

关键设计：在模型训练中，使用合成偏好数据进行可指令奖励模型的训练，设置了适当的损失函数以优化奖励生成，并通过调整原则来影响策略模型的行为。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Dromedary-2在多个基准数据集上表现优异，使用仅6个示例和31个原则，显著超越了LLaMA-2-Chat-70b等多个最先进的AI系统，展示了SALMON方法在对齐效率和性能上的提升。

🎯 应用场景

该研究的潜在应用领域包括智能助手、对话系统和自动化决策支持等，能够在减少人类干预的情况下提升AI系统的性能和可控性。未来，SALMON方法可能推动更广泛的AI系统对齐研究，提升其在复杂任务中的适应能力和效率。

📄 摘要（原文）

Supervised Fine-Tuning (SFT) on response demonstrations combined with Reinforcement Learning from Human Feedback (RLHF) constitutes a powerful paradigm for aligning LLM-based AI agents. However, a significant limitation of such an approach is its dependency on high-quality human annotations, making its application to intricate tasks challenging due to difficulties in obtaining consistent response demonstrations and in-distribution response preferences. This paper presents a novel approach, namely SALMON, to align base language models with minimal human supervision, using only a small set of human-defined principles, yet achieving superior performance. Central to our approach is an instructable reward model. Trained on synthetic preference data, this model can generate reward scores based on arbitrary human-defined principles. By merely adjusting these principles during the RL training phase, we gain full control over the preferences with the instructable reward model, subsequently influencing the behavior of the RL-trained policy models, and reducing the reliance on the collection of online human preferences. Applying our method to the LLaMA-2-70b base language model, we developed an AI assistant named Dromedary-2. With only 6 exemplars for in-context learning and 31 human-defined principles, Dromedary-2 significantly surpasses the performance of several state-of-the-art AI systems, including LLaMA-2-Chat-70b, on various benchmark datasets. We have open-sourced the code and model weights to encourage further research into aligning LLM-based AI agents with enhanced supervision efficiency, improved controllability, and scalable oversight.