Specifying Reward Functions for RL Without Environment Sampling

📄 arXiv: 2609.15544v1 📥 PDF

作者: Stephane Hatgis-Kessell, W. Bradley Knox, Emma Brunskill

分类: cs.LG, cs.AI

发布日期: 2026-09-14

💡 一句话要点

提出EARS方法以解决无环境采样的奖励函数指定问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 奖励函数 偏好学习 环境交互 自动驾驶 医疗决策 政策设计

📋 核心要点

  1. 现有的奖励函数设计方法在环境交互成本高或不安全的情况下难以实施，限制了强化学习的应用。
  2. EARS方法通过偏好学习奖励函数，利用结构化的LLM介导过程，避免了环境交互的需求。
  3. 实验结果显示，EARS在奖励函数设计上比基线方法更接近真实奖励函数，提升了设计的有效性。

📝 摘要（中文）

在强化学习代理的部署中，使人类利益相关者能够指定奖励函数以实现期望结果是一个关键挑战。基于偏好的方法如在线RLHF可以减少手动奖励设计的负担，但需要反复训练策略、从现实世界中采样轨迹并获取反馈，这在环境交互计算成本高或不安全的情况下显得不切实际。本文提出了经验无关自主奖励规范（EARS）方法，通过偏好学习奖励函数而无需环境交互。该方法利用结构化的LLM介导过程，从任务描述和环境观察空间构建一小组表达性奖励特征，随后在特征空间中战略性地采样想象轨迹，并从想象轨迹对的偏好中学习特征权重。我们在三个长时间域上进行了评估，结果表明EARS设计的奖励函数更符合真实奖励函数，显示出在不进行环境采样的情况下，基于偏好的奖励规范仍然有效。

🔬 方法详解

问题定义：本文旨在解决在环境交互成本高或不安全的情况下，如何有效指定奖励函数的问题。现有的偏好学习方法需要频繁的环境交互，导致其在某些场景下不切实际。

核心思路：EARS方法的核心思路是通过偏好学习奖励函数，而无需与环境进行交互。通过构建表达性奖励特征并在特征空间中采样想象轨迹，EARS能够从偏好中学习特征权重。

技术框架：EARS的整体架构包括三个主要模块：首先，从任务描述和环境观察空间构建奖励特征；其次，战略性地在特征空间中采样想象轨迹；最后，从想象轨迹对中获取偏好并学习特征权重。

关键创新：EARS的主要创新在于其无需环境交互即可有效学习奖励函数，区别于传统方法依赖于真实环境反馈的设计。

关键设计：在EARS中，关键设计包括选择合适的奖励特征、构建有效的想象轨迹采样策略，以及设计偏好学习的损失函数，以确保学习到的特征权重能够准确反映人类的偏好。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，EARS方法在三个长时间域上的表现优于基线方法，尤其是在使用真实偏好标签或LLM标记的偏好时，EARS设计的奖励函数与真实奖励函数的对齐度更高，显示出显著的提升效果。

🎯 应用场景

该研究的潜在应用领域包括医疗决策（如糖尿病患者的胰岛素管理）、政策设计（如疫情封锁管理）以及自动驾驶车辆控制等。EARS方法的实际价值在于能够在高成本或高风险环境中实现有效的奖励设计，未来可能推动强化学习在更多实际场景中的应用。

📄 摘要（原文）

Enabling human stakeholders to specify reward functions that lead to their desired outcomes is a key challenge in deploying reinforcement learning agents. Preference-based methods such as online RLHF can reduce the burden of manual reward design, but they require repeatedly training policies, sampling trajectories from the real world, and eliciting feedback, making them impractical in settings where environment interaction is computationally expensive or unsafe. We introduce Experience-Free Autonomous Reward Specification (EARS), a method for learning reward functions from preferences without environment interaction. Our approach uses a structured LLM-mediated process to construct a small set of expressive reward features from a task description and the environment observation space, then strategically samples imagined trajectories in this feature space and learns feature weights from preferences over the imagined trajectory pairs. We evaluate on three long-horizon domains: pandemic lockdown regulation design, insulin administration for diabetes patients, and autonomous vehicle control on a highway. We compare EARS to baselines that also enable reward specification without environment interaction--namely, methods that directly prompt an LLM to generate a reward function. When learning from either ground-truth preference labels or preferences labeled by a LLM, EARS designs reward functions that are more aligned with the ground truth reward function that produced the preferences or LLM context than these baselines. These results suggest that preference-based reward specification remains effective without environment sampling, enabling practical reward design in settings where collecting real trajectories is costly or infeasible.