RDA: Reward Design Agent for Reinforcement Learning

📄 arXiv: 2606.01672v1 📥 PDF

作者: Hojoon Lee, Ajay Subramanian, Ben Abbatematteo, Vijay Veerabadran, Pedro Matias, Karl Ridgeway, Nitin Kamra

分类: cs.LG

发布日期: 2026-06-01

备注: Accepted to RLC'26

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出RDA：基于视觉语言模型的强化学习奖励函数自动设计框架

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 奖励函数设计 视觉语言模型 机器人操作 自动化

📋 核心要点

  1. 现有强化学习方法依赖手工设计的奖励函数，设计过程耗时且难以与人类意图对齐，导致策略与任务指令不符。
  2. RDA利用视觉语言模型分解任务、评估轨迹、总结失败模式，并迭代修改奖励代码，从而实现更符合指令的奖励设计。
  3. 实验表明，RDA在桌面和全身操作任务中，相较于其他基线方法，能生成更符合指令的策略，同时保持了任务成功率。

📝 摘要（中文）

强化学习在机器人技能学习方面取得了显著进展，但通常依赖于手工设计的奖励函数，这不仅耗时，而且难以与人类意图对齐。最近的研究，如Eureka，通过使用大型语言模型迭代生成和改进任务描述中的奖励代码，实现了奖励设计的自动化。然而，它们依赖于粗糙的反馈信号，如成功率，这无法提供对学习行为的语义洞察。因此，它们训练的策略虽然能实现最终目标，但经常与任务指令不符。我们提出了奖励设计代理（RDA），一个基于视觉语言模型的代理框架，将语义理解注入到奖励设计中。RDA分解任务，视觉评估轨迹，总结失败模式，并迭代地修改奖励代码，以更好地与任务指令对齐。在ManiSkill的12个桌面操作任务和HumanoidBench的4个全身操作任务中，RDA产生的策略比其他基线策略更符合指令，同时实现了相当的任务成功率。

🔬 方法详解

问题定义：现有基于强化学习的机器人技能学习方法，其性能高度依赖于奖励函数的设计。手工设计奖励函数不仅耗时费力，而且难以捕捉人类的意图，导致学习到的策略虽然能完成任务，但行为方式可能与人类期望不符。例如，机器人可能会采取一些“作弊”的方式来最大化奖励，而这些方式在人类看来是不合理的。

核心思路：RDA的核心思路是利用视觉语言模型（VLM）对机器人执行任务的过程进行语义理解，并基于这些理解来自动设计奖励函数。VLM能够观察机器人的行为轨迹，识别出其中的错误和不足，并根据任务指令来判断行为是否符合预期。然后，RDA会根据这些反馈信息来迭代地修改奖励函数的代码，使其更好地引导机器人学习符合人类意图的行为。

技术框架：RDA的整体框架包含以下几个主要模块：1) 任务分解模块：将复杂的任务分解为更小的子任务，方便VLM进行分析。2) 视觉评估模块：利用VLM观察机器人的行为轨迹，并提取语义信息，例如机器人是否正确地抓取了物体，是否按照正确的顺序执行了操作等。3) 失败模式总结模块：根据视觉评估的结果，总结机器人失败的常见模式，例如抓取失败、放置位置不正确等。4) 奖励代码修改模块：根据失败模式和任务指令，利用大型语言模型（LLM）迭代地修改奖励函数的代码，使其能够更好地惩罚错误行为，奖励正确行为。

关键创新：RDA的关键创新在于将视觉语言模型引入到奖励函数的设计过程中。传统的奖励函数设计方法主要依赖于人工经验或简单的成功率反馈，缺乏对机器人行为的语义理解。RDA通过VLM能够更深入地理解机器人的行为，并根据任务指令来判断行为是否合理，从而能够设计出更符合人类意图的奖励函数。与Eureka等方法相比，RDA使用了更细粒度的语义反馈，而不是仅仅依赖于成功率。

关键设计：RDA的关键设计包括：1) VLM的选择：论文中使用了能够理解图像和文本信息的VLM，例如CLIP等。2) 奖励代码的表示：奖励函数使用代码的形式表示，方便LLM进行修改和优化。3) 迭代修改策略：RDA采用迭代的方式来修改奖励代码，每次修改后都会进行评估，并根据评估结果进行下一步修改。4) 提示工程：针对不同的任务和失败模式，设计了不同的提示语，引导LLM生成更有效的奖励代码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RDA在ManiSkill的12个桌面操作任务和HumanoidBench的4个全身操作任务中进行了评估。实验结果表明，RDA生成的策略在任务成功率上与现有基线方法相当，但在指令对齐方面显著优于其他方法。这意味着RDA能够学习到更符合人类意图的行为，从而提升了机器人系统的可用性和可靠性。

🎯 应用场景

RDA具有广泛的应用前景，可用于自动化机器人技能学习、人机协作、以及复杂任务的自主规划。通过自动生成符合人类意图的奖励函数，RDA可以降低机器人开发的门槛，加速机器人在制造业、服务业等领域的应用。此外，该方法还可以应用于游戏AI、自动驾驶等领域，提升AI系统的智能化水平。

📄 摘要（原文）

Reinforcement learning has enabled the acquisition of impressive robotic skills, but typically requires hand-crafted reward functions that are slow to design and difficult to align with human intentions. Recent work, such as Eureka, automates reward design by using an LLM to iteratively generate and refine reward code from task descriptions. However, they rely on coarse feedback signals such as success rate, which provide little semantic insight into the learned behavior. As a result, their trained policies achieve the final goal but are frequently poorly aligned with task instructions. We introduce the Reward Design Agent (RDA), a VLM-based agentic framework that injects semantic understanding into reward design. RDA decomposes tasks, visually evaluates trajectories, summarizes failure modes, and iteratively revises reward code to better align with task instructions. Across 12 tabletop manipulation tasks from ManiSkill and 4 whole-body manipulation tasks from HumanoidBench, RDA produces policies substantially more instruction-aligned than those of other baselines, while achieving comparable task success rates. Videos and the generated reward code are available on https://nitinkamra1992.github.io/reward-design-agent.