Reward Training Wheels: Adaptive Auxiliary Rewards for Robotics Reinforcement Learning

📄 arXiv: 2503.15724v1 📥 PDF

作者: Linji Wang, Tong Xu, Yuanjie Lu, Xuesu Xiao

分类: cs.RO, cs.AI

发布日期: 2025-03-19

备注: 7 pages, 5 figures

💡 一句话要点

提出奖励训练轮（RTW）框架，自适应调整辅助奖励以提升机器人强化学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 机器人强化学习 辅助奖励 自适应调整 师生框架 奖励函数设计

📋 核心要点

  1. 机器人强化学习依赖人工设计的辅助奖励，但其设计耗时费力，易引入人为偏差，且无法适应机器人能力变化。
  2. RTW框架通过教师-学生模式，教师根据学生能力动态调整辅助奖励权重，优化主要学习目标。
  3. 实验表明，RTW在导航和越野任务中优于专家设计奖励，提升性能的同时加速了训练。

📝 摘要（中文）

机器人强化学习（RL）通常依赖于精心设计的辅助奖励，以补充稀疏的主要学习目标，从而弥补大规模真实世界试错数据的不足。虽然这些辅助奖励加速了学习，但它们需要大量的工程工作，可能引入人为偏差，并且无法适应训练期间机器人不断发展的能力。本文介绍了一种奖励训练轮（RTW）框架，这是一种师生框架，可自动进行机器人RL的辅助奖励调整。具体来说，RTW教师根据学生不断发展的能力动态调整辅助奖励权重，以确定哪些辅助奖励方面需要更多或更少的强调，从而改善主要目标。我们在两个具有挑战性的机器人任务上演示了RTW：高度受限空间中的导航和垂直挑战地形上的越野车辆移动。在仿真中，RTW在导航成功率方面优于专家设计的奖励2.35％，并将越野移动性能提高了122.62％，同时分别实现了35％和3倍的训练效率。物理机器人实验进一步验证了RTW的有效性，实现了完美的成功率（5/5次试验，而专家设计的奖励为2/5次），并通过高达47.4％的方位角减小来提高车辆稳定性。

🔬 方法详解

问题定义：机器人强化学习中，当主要目标稀疏时，需要人工设计辅助奖励来加速学习。然而，人工设计辅助奖励存在三个主要痛点：一是需要大量人工工程，耗时费力；二是容易引入人为偏差，影响学习效果；三是无法根据机器人能力的变化进行自适应调整，导致次优性能。

核心思路：RTW的核心思路是引入一个教师-学生框架，教师根据学生的学习进度和能力，动态调整辅助奖励的权重。教师的目标是最大化学生的表现，通过调整辅助奖励的权重，引导学生更好地学习主要目标。这种自适应调整的方式可以克服人工设计的局限性，提高学习效率和最终性能。

技术框架：RTW框架包含两个主要模块：学生（Student）和教师（Teacher）。学生是实际执行任务的机器人智能体，通过强化学习算法（如PPO）进行训练。教师则负责监控学生的学习状态，并根据学生的表现动态调整辅助奖励的权重。整个训练过程是一个迭代的过程，学生根据当前的奖励函数进行学习，教师根据学生的学习结果调整奖励函数，从而形成一个闭环的优化过程。

关键创新：RTW的关键创新在于其自适应调整辅助奖励权重的机制。与传统方法中固定不变的辅助奖励相比，RTW可以根据机器人的学习状态动态地调整奖励函数，从而更好地引导机器人学习。这种自适应性使得RTW能够克服人工设计的局限性，提高学习效率和最终性能。

关键设计：RTW中，教师通常采用一个简单的策略网络，输入是学生的学习状态（例如，主要目标的奖励、辅助奖励等），输出是辅助奖励的权重。教师网络的训练目标是最大化学生的累积奖励。可以使用各种优化算法来训练教师网络，例如，可以使用策略梯度算法来更新教师网络的参数。此外，为了保证训练的稳定性，可以引入一些正则化项，例如，限制辅助奖励权重的变化幅度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RTW在仿真实验中，导航任务成功率比专家设计奖励提升2.35%，越野任务性能提升122.62%，训练效率分别提升35%和3倍。在真实机器人实验中，导航任务成功率达到100%（5/5），而专家设计奖励仅为40%（2/5），车辆稳定性提升高达47.4%（方位角减小）。这些结果表明RTW在实际应用中具有显著优势。

🎯 应用场景

RTW框架具有广泛的应用前景，可应用于各种机器人强化学习任务中，尤其是在奖励函数稀疏、任务复杂、需要大量试错的场景下。例如，可用于自动驾驶、机器人操作、搜索救援等领域，提高机器人的自主性和适应性，降低人工干预成本。未来，RTW还可与其他技术结合，例如元学习、迁移学习等，进一步提升机器人的学习能力。

📄 摘要（原文）

Robotics Reinforcement Learning (RL) often relies on carefully engineered auxiliary rewards to supplement sparse primary learning objectives to compensate for the lack of large-scale, real-world, trial-and-error data. While these auxiliary rewards accelerate learning, they require significant engineering effort, may introduce human biases, and cannot adapt to the robot's evolving capabilities during training. In this paper, we introduce Reward Training Wheels (RTW), a teacher-student framework that automates auxiliary reward adaptation for robotics RL. To be specific, the RTW teacher dynamically adjusts auxiliary reward weights based on the student's evolving capabilities to determine which auxiliary reward aspects require more or less emphasis to improve the primary objective. We demonstrate RTW on two challenging robot tasks: navigation in highly constrained spaces and off-road vehicle mobility on vertically challenging terrain. In simulation, RTW outperforms expert-designed rewards by 2.35% in navigation success rate and improves off-road mobility performance by 122.62%, while achieving 35% and 3X faster training efficiency, respectively. Physical robot experiments further validate RTW's effectiveness, achieving a perfect success rate (5/5 trials vs. 2/5 for expert-designed rewards) and improving vehicle stability with up to 47.4% reduction in orientation angles.