Towards Improving Reward Design in RL: A Reward Alignment Metric for RL Practitioners

📄 arXiv: 2503.05996v2 📥 PDF

作者: Calarina Muslimani, Kerrick Johnstonbaugh, Suyog Chandramouli, Serena Booth, W. Bradley Knox, Matthew E. Taylor

分类: cs.LG, cs.AI

发布日期: 2025-03-08 (更新: 2025-07-24)

💡 一句话要点

提出轨迹对齐系数，提升强化学习中奖励函数设计的质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 奖励函数设计 奖励对齐 轨迹对齐系数 人机协作 用户研究

📋 核心要点

  1. 强化学习中奖励函数的设计至关重要，但现有方法缺乏有效评估奖励函数是否准确反映人类偏好的手段。
  2. 论文提出轨迹对齐系数，通过量化人类对轨迹的偏好与奖励函数诱导的轨迹分布的相似性来评估奖励对齐程度。
  3. 用户研究表明，使用轨迹对齐系数能显著提升奖励函数选择的成功率，并降低认知负荷。

📝 摘要（中文）

强化学习智能体的能力受其学习的奖励函数质量的根本限制，但奖励设计常常被忽视，人们通常假设可以轻易获得良好定义的奖励。然而，在实践中，设计奖励是困难的，即使指定了奖励，评估其正确性也同样存在问题：我们如何知道奖励函数是否被正确指定？本文通过关注奖励对齐来解决这些挑战——评估奖励函数是否准确地编码了人类利益相关者的偏好。作为奖励对齐的具体度量，我们引入了轨迹对齐系数，以量化人类利益相关者对轨迹分布的排序与给定奖励函数所诱导的轨迹分布之间的相似性。我们证明了轨迹对齐系数表现出理想的属性，例如不需要访问ground truth奖励，对基于势的奖励塑造不变，以及适用于在线强化学习。此外，在对11名强化学习从业者的用户研究中，我们发现，在奖励选择期间访问轨迹对齐系数可以带来统计上显著的改进。与仅依赖奖励函数相比，我们的指标将认知工作量降低了1.5倍，受到82%用户的偏爱，并将选择产生高性能策略的奖励函数的成功率提高了41%。

🔬 方法详解

问题定义：强化学习算法的性能高度依赖于奖励函数的设计，但奖励函数的设计往往是困难的，并且缺乏有效的评估方法。现有方法难以判断奖励函数是否准确反映了人类的真实偏好，导致训练出的策略可能不符合预期。

核心思路：论文的核心思路是通过量化人类对轨迹的偏好与奖励函数所诱导的轨迹分布之间的相似性，来评估奖励函数的对齐程度。如果奖励函数能够使智能体产生与人类偏好一致的轨迹，则认为该奖励函数是有效的。

技术框架：论文提出了轨迹对齐系数（Trajectory Alignment Coefficient, TAC）作为评估奖励对齐程度的指标。TAC的计算流程大致如下：1) 从奖励函数中采样得到轨迹分布；2) 获取人类对不同轨迹分布的排序；3) 计算TAC，即人类排序与基于奖励函数的排序之间的相似度。TAC越高，表示奖励函数与人类偏好越对齐。

关键创新：论文的关键创新在于提出了轨迹对齐系数，这是一种无需ground truth奖励、对基于势的奖励塑造不变、且适用于在线强化学习的奖励对齐评估指标。与传统方法相比，TAC直接关注奖励函数与人类偏好之间的对齐程度，而非仅仅关注最终策略的性能。

关键设计：轨迹对齐系数的具体计算方法需要根据具体的应用场景进行调整。例如，可以使用不同的排序算法（如Kendall's Tau）来计算人类排序与基于奖励函数的排序之间的相似度。此外，还需要考虑如何有效地从奖励函数中采样得到具有代表性的轨迹分布。

📊 实验亮点

在包含11名强化学习从业者的用户研究中，使用轨迹对齐系数进行奖励选择，相比于仅依赖奖励函数，认知工作量降低了1.5倍，82%的用户更喜欢使用该指标，并且选择产生高性能策略的奖励函数的成功率提高了41%。这些结果表明，轨迹对齐系数能够显著提升奖励函数设计的效率和质量。

🎯 应用场景

该研究成果可广泛应用于机器人、游戏AI、自动驾驶等领域，尤其是在需要人类专家参与奖励函数设计的场景中。通过使用轨迹对齐系数，可以更有效地设计出符合人类偏好的奖励函数，从而提升强化学习算法的性能和安全性。未来，该方法有望促进人机协作的强化学习应用发展。

📄 摘要（原文）

Reinforcement learning agents are fundamentally limited by the quality of the reward functions they learn from, yet reward design is often overlooked under the assumption that a well-defined reward is readily available. However, in practice, designing rewards is difficult, and even when specified, evaluating their correctness is equally problematic: how do we know if a reward function is correctly specified? In our work, we address these challenges by focusing on reward alignment -- assessing whether a reward function accurately encodes the preferences of a human stakeholder. As a concrete measure of reward alignment, we introduce the Trajectory Alignment Coefficient to quantify the similarity between a human stakeholder's ranking of trajectory distributions and those induced by a given reward function. We show that the Trajectory Alignment Coefficient exhibits desirable properties, such as not requiring access to a ground truth reward, invariance to potential-based reward shaping, and applicability to online RL. Additionally, in an 11 -- person user study of RL practitioners, we found that access to the Trajectory Alignment Coefficient during reward selection led to statistically significant improvements. Compared to relying only on reward functions, our metric reduced cognitive workload by 1.5x, was preferred by 82% of users and increased the success rate of selecting reward functions that produced performant policies by 41%.