Revisiting Sparse Rewards for Goal-Reaching Reinforcement Learning
作者: Gautham Vasan, Yan Wang, Fahim Shahriar, James Bergstra, Martin Jagersand, A. Rupam Mahmood
分类: cs.RO, cs.LG
发布日期: 2024-06-29 (更新: 2024-07-08)
备注: In Proceedings of Reinforcement Learning Conference 2024. For a video demo, see https://youtu.be/a6zlVUuKzBc
💡 一句话要点
研究表明，基于稀疏奖励的强化学习在目标导向任务中优于稠密奖励，并提出早期成功指标。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 稀疏奖励 目标导向任务 机器人学习 像素策略
📋 核心要点
- 传统强化学习在目标导向任务中倾向于使用稠密奖励，但稀疏奖励（最小时间任务）因其简单性和与目标对齐的特性被忽略。
- 该研究对比了稀疏奖励和稠密奖励，发现稀疏奖励不仅能学习更高质量的策略，还能在性能指标上超越稠密奖励。
- 研究表明，初始策略的目标命中率是稀疏奖励强化学习成功与否的早期可靠指标，并在真实机器人平台上验证了该方法的可行性。
📝 摘要（中文）
许多现实世界的机器人学习问题，例如抓取放置或到达目的地，都可以看作是尽快达到目标状态的问题。这些问题在被形式化为 episodic 强化学习任务时，可以很容易地被指定为与我们预期的目标对齐：每次时间步 -1 的奖励，并在达到目标状态时终止，称为最小时间任务。尽管这种形式很简单，但由于其被认为的困难和缺乏信息性，这种形式经常被忽略，而倾向于稠密奖励。我们的研究对比了这两种奖励范式，揭示了最小时间任务规范不仅有助于学习更高质量的策略，而且可以在其自身的性能指标上超过基于稠密奖励的策略。至关重要的是，我们还确定了初始策略的目标命中率是这种稀疏反馈环境中学习成功的可靠早期指标。最后，使用四个不同的真实机器人平台，我们表明可以使用恒定的负奖励在两到三个小时内从头开始学习基于像素的策略。
🔬 方法详解
问题定义：论文旨在解决机器人强化学习中，目标导向任务（如抓取放置、导航）的奖励函数设计问题。现有方法通常采用稠密奖励，但稠密奖励的设计往往需要领域知识，且可能引入人为偏差，导致策略并非最优。稀疏奖励（例如，仅在达到目标时给予奖励）虽然简单直接，但由于探索空间巨大，学习难度较高，容易陷入局部最优。
核心思路：论文的核心思路是重新审视并有效利用稀疏奖励在目标导向任务中的潜力。作者认为，稀疏奖励与任务目标天然对齐，能够避免稠密奖励可能引入的偏差。通过有效的探索策略和早期成功指标的判断，可以克服稀疏奖励带来的学习困难，从而获得更优的策略。
技术框架：论文采用标准的 episodic 强化学习框架，使用负常数奖励（-1）作为稀疏奖励函数，仅在达到目标状态时终止 episode。整体流程包括：1）初始化策略；2）在环境中执行策略，收集经验数据；3）使用经验数据更新策略；4）评估策略性能（目标命中率）；5）重复步骤2-4，直到策略收敛或达到最大迭代次数。论文重点关注如何提高稀疏奖励下的探索效率和如何判断学习的早期成功。
关键创新：论文的关键创新在于：1）强调了稀疏奖励在目标导向任务中的优势，并证明其可以超越稠密奖励；2）提出了目标命中率作为稀疏奖励强化学习的早期成功指标，可以提前判断学习是否有效，从而节省计算资源；3）通过实验验证了在真实机器人平台上，使用稀疏奖励可以在较短时间内从头开始学习基于像素的策略。
关键设计：论文的关键设计包括：1）使用负常数奖励作为稀疏奖励函数，简化了奖励函数的设计；2）采用基于像素的策略学习，避免了人工特征工程；3）在真实机器人平台上进行了大量实验，验证了方法的有效性和鲁棒性；4）目标命中率的计算方式，即在训练初期，策略成功到达目标的频率，作为判断学习是否成功的指标。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在四个不同的真实机器人平台上，使用稀疏奖励可以在2-3小时内从头开始学习基于像素的策略。与基于稠密奖励的策略相比，稀疏奖励策略不仅学习速度更快，而且在目标命中率等性能指标上表现更优。此外，研究还发现，初始策略的目标命中率是预测学习成功的可靠指标。
🎯 应用场景
该研究成果可应用于各种机器人自动化任务，例如工业机器人中的物体抓取、自动驾驶中的路径规划、以及服务机器人中的目标导航。通过使用稀疏奖励，可以简化任务的定义，减少人工干预，并提高策略的泛化能力。该方法在资源受限的机器人平台上具有重要价值，可以加速机器人学习和部署。
📄 摘要（原文）
Many real-world robot learning problems, such as pick-and-place or arriving at a destination, can be seen as a problem of reaching a goal state as soon as possible. These problems, when formulated as episodic reinforcement learning tasks, can easily be specified to align well with our intended goal: -1 reward every time step with termination upon reaching the goal state, called minimum-time tasks. Despite this simplicity, such formulations are often overlooked in favor of dense rewards due to their perceived difficulty and lack of informativeness. Our studies contrast the two reward paradigms, revealing that the minimum-time task specification not only facilitates learning higher-quality policies but can also surpass dense-reward-based policies on their own performance metrics. Crucially, we also identify the goal-hit rate of the initial policy as a robust early indicator for learning success in such sparse feedback settings. Finally, using four distinct real-robotic platforms, we show that it is possible to learn pixel-based policies from scratch within two to three hours using constant negative rewards.