Reflective Verbal Reward Design for Pluralistic Alignment

📄 arXiv: 2506.17834v1 📥 PDF

作者: Carter Blair, Kate Larson, Edith Law

分类: cs.AI, cs.HC

发布日期: 2025-06-21

备注: 9 pages, 3 figures, accepted to the IJCAI 2025 Human-Centred AI track. Project repository at: https://osf.io/8yxf2/

💡 一句话要点

提出反思性语言奖励设计，解决RLHF中个体偏好被抑制的问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 人类反馈 奖励模型 个性化对齐 语言模型

📋 核心要点

  1. 传统RLHF方法通过聚合反馈学习单一奖励模型，忽略了人类价值观的异质性，可能抑制少数偏好。
  2. 论文提出反思性语言奖励模型，通过引导用户进行反思性对话来构建个性化偏好，并以此作为奖励函数。
  3. 实验表明，该方法在准确性上优于非反思性模型9-12%，并具有更高的样本效率。

📝 摘要（中文）

为了使AI智能体与“人类价值观”对齐，通常采用从人类反馈中进行强化学习（RLHF）的方法，即从聚合的人类反馈中学习单一奖励模型，并用其来对齐智能体的行为。然而，人类价值观并非同质的，不同的人持有不同甚至冲突的价值观。将反馈聚合到单一奖励模型中，存在不成比例地抑制少数群体偏好的风险。为了解决这个问题，我们提出了一种新颖的奖励建模方法，用于学习个体化的奖励模型。我们的方法使用语言模型引导用户进行反思性对话，用户在对话中批判智能体的行为并构建他们的偏好。然后，包含用户反思和批判性示例的个性化对话历史，被用作另一个语言模型的上下文，该语言模型充当个体化的奖励函数（我们称之为“语言奖励模型”），用于评估新的轨迹。在对30名参与者的研究中，我们的方法比非反思性语言奖励模型在准确性方面提高了9-12%，同时比传统的监督学习方法更具样本效率。

🔬 方法详解

问题定义：现有基于RLHF的对齐方法通常将所有人类反馈聚合到一个单一的奖励模型中，忽略了不同个体之间价值观的差异。这种聚合方式可能导致少数群体的偏好被压制，使得AI系统无法满足所有用户的需求。因此，需要一种能够学习个体化奖励模型的方法，以更好地对齐不同用户的价值观。

核心思路：论文的核心思路是利用语言模型引导用户进行反思性对话，让用户更深入地思考和表达他们对智能体行为的偏好。通过记录这些对话历史，可以构建一个包含用户反思和批判性示例的个性化数据集。然后，利用另一个语言模型，以这些对话历史作为上下文，来学习一个能够评估智能体行为的个体化奖励函数。

技术框架：该方法主要包含两个阶段：1) 反思性对话阶段：使用语言模型引导用户对智能体的行为进行批判和反思，记录用户的对话历史。2) 语言奖励建模阶段：使用另一个语言模型，以用户的对话历史作为上下文，学习一个能够评估智能体行为的个体化奖励函数（即语言奖励模型）。该奖励模型可以根据用户的个性化偏好，对智能体的行为进行评分。

关键创新：该方法最重要的创新点在于引入了“反思性对话”的概念，通过引导用户进行深入思考和表达，从而更准确地捕捉用户的个性化偏好。与传统的直接收集用户反馈的方法相比，反思性对话能够提供更丰富和更具信息量的用户偏好数据，从而提高奖励模型的准确性。此外，使用语言模型作为奖励函数，使得奖励模型具有更强的泛化能力和可解释性。

关键设计：论文中使用了两个语言模型：一个用于引导反思性对话，另一个用于学习语言奖励模型。具体使用的语言模型类型和大小未知。对话引导模型的具体prompt设计未知，但其目标是鼓励用户批判性地思考智能体的行为，并清晰地表达他们的偏好。语言奖励模型的训练目标是根据用户的对话历史，预测智能体行为的奖励值。具体的损失函数和训练策略未知。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在准确性方面比非反思性语言奖励模型提高了9-12%。这意味着通过引入反思性对话，可以显著提高奖励模型的性能。此外，该方法比传统的监督学习方法更具样本效率，这意味着在相同的数据量下，该方法能够学习到更好的奖励模型。

🎯 应用场景

该研究成果可应用于各种需要个性化对齐的AI系统，例如个性化推荐系统、定制化教育平台、以及能够根据用户价值观进行决策的智能助手。通过学习个体化的奖励模型，可以使AI系统更好地满足不同用户的需求，提高用户满意度和信任度，并减少潜在的偏见和歧视。

📄 摘要（原文）

AI agents are commonly aligned with "human values" through reinforcement learning from human feedback (RLHF), where a single reward model is learned from aggregated human feedback and used to align an agent's behavior. However, human values are not homogeneous--different people hold distinct and sometimes conflicting values. Aggregating feedback into a single reward model risks disproportionately suppressing minority preferences. To address this, we present a novel reward modeling approach for learning individualized reward models. Our approach uses a language model to guide users through reflective dialogues where they critique agent behavior and construct their preferences. This personalized dialogue history, containing the user's reflections and critiqued examples, is then used as context for another language model that serves as an individualized reward function (what we call a "verbal reward model") for evaluating new trajectories. In studies with 30 participants, our method achieved a 9-12% improvement in accuracy over non-reflective verbal reward models while being more sample efficient than traditional supervised learning methods.