A novel agent with formal goal-reaching guarantees: an experimental study with a mobile robot

📄 arXiv: 2409.14867v1 📥 PDF

作者: Grigory Yaremenko, Dmitrii Dobriborsci, Roman Zashchitin, Ruben Contreras Maestre, Ngoc Quoc Huy Hoang, Pavel Osinenko

分类: cs.RO, cs.AI, math.DS, math.OC

发布日期: 2024-09-23

💡 一句话要点

提出基于Lyapunov函数的强化学习智能体CALF，保障移动机器人稳定到达目标点。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 安全强化学习 Lyapunov函数 机器人控制 无模型学习

📋 核心要点

  1. 传统强化学习在机器人控制中存在安全隐患，需要探索大量状态-动作对，效率低下。
  2. CALF将Critic网络作为Lyapunov函数，保证所有状态-动作对的可探索性，并形式化地保证目标状态的稳定到达。
  3. 实验表明，CALF在TurtleBot3 Burger机器人上，相较于PPO和SARSA，在少量episode内实现了更低的总成本。

📝 摘要（中文）

强化学习(RL)在机器人领域已被证明是有效和便捷的。然而，它需要探索足够多的状态-动作对，其中许多可能是不安全或不重要的。例如，在线无模型学习在缺乏保证特定期望状态集将在一个episode内达到的情况下，可能是有害和低效的。解决安全问题的一个日益普遍的方法是增加一个屏蔽系统，将RL动作约束到安全动作集。反过来，这种框架的一个难点是如何有效地将RL与屏蔽系统结合，以确保探索不会受到过度限制。本文提出了一种新的安全无模型RL智能体，称为Critic As Lyapunov Function (CALF)，并展示了CALF如何以高效和便捷的方式改进机器人控制基线，同时确保稳定到达目标的保证。后者是安全的关键部分。使用CALF，所有状态-动作对都保持可探索，并且正式保证达到期望的目标状态。提供的形式分析表明了CALF的目标稳定保证特性，以及使用非完整轮式移动机器人(WMR) TurtleBot3 Burger进行的一系列真实世界和数值实验，证实了CALF在总成本方面优于近端策略优化(PPO)和SARSA的改进版本。

🔬 方法详解

问题定义：现有强化学习方法在机器人控制中，尤其是在线无模型学习，面临安全性和效率的双重挑战。一方面，探索过程可能导致机器人进入不安全状态。另一方面，盲目探索大量状态-动作对导致学习效率低下，难以快速收敛到最优策略。因此，需要一种既能保证安全性，又能高效探索的强化学习方法。

核心思路：CALF的核心思路是将强化学习中的Critic网络视为Lyapunov函数。Lyapunov函数是控制理论中用于证明系统稳定性的工具。通过将Critic网络设计成满足Lyapunov稳定性条件的函数，CALF可以保证智能体在探索过程中始终朝着目标状态稳定移动，从而避免进入不安全状态。

技术框架：CALF的整体框架包括以下几个主要模块：1) Actor网络，用于生成动作；2) Critic网络，用于评估状态-动作对的价值，并作为Lyapunov函数；3) Lyapunov稳定性约束，用于约束Actor网络生成的动作，确保满足Lyapunov稳定性条件；4) 强化学习算法，用于更新Actor和Critic网络。整个流程是：智能体根据Actor网络生成动作，Critic网络评估该动作的价值，Lyapunov稳定性约束判断该动作是否安全，如果安全则执行该动作，否则选择一个满足约束的安全动作，然后根据环境反馈更新Actor和Critic网络。

关键创新：CALF最重要的技术创新点在于将Critic网络与Lyapunov稳定性理论相结合。传统强化学习方法通常只关注最大化累积奖励，而忽略了安全性。CALF通过引入Lyapunov稳定性约束，将安全性纳入了学习目标中，从而保证了智能体在探索过程中的安全性。与现有安全强化学习方法相比，CALF不需要预先定义安全区域或使用复杂的屏蔽系统，而是通过Critic网络自动学习安全策略。

关键设计：CALF的关键设计包括：1) Critic网络的结构，需要选择合适的网络结构，使其能够准确评估状态-动作对的价值，并满足Lyapunov稳定性条件；2) Lyapunov稳定性约束的定义，需要选择合适的Lyapunov函数，并定义相应的稳定性条件；3) 强化学习算法的选择，可以选择任何无模型强化学习算法，如PPO、SARSA等。论文中使用了特定的损失函数来训练Critic网络，使其满足Lyapunov稳定性条件，并使用PPO算法来更新Actor网络。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，CALF在TurtleBot3 Burger机器人上，相较于PPO和SARSA，在少量episode内实现了更低的总成本。具体来说，CALF能够更快地收敛到最优策略，并且在探索过程中能够更好地避免进入不安全状态。这表明CALF在保证安全性的同时，也具有较高的学习效率。

🎯 应用场景

CALF具有广泛的应用前景，尤其适用于对安全性要求较高的机器人控制任务，如自动驾驶、无人机导航、医疗机器人等。该方法可以有效地避免机器人进入危险区域或发生碰撞，提高系统的可靠性和安全性。此外，CALF还可以应用于其他需要保证稳定性的控制系统，如电力系统、交通系统等。

📄 摘要（原文）

Reinforcement Learning (RL) has been shown to be effective and convenient for a number of tasks in robotics. However, it requires the exploration of a sufficiently large number of state-action pairs, many of which may be unsafe or unimportant. For instance, online model-free learning can be hazardous and inefficient in the absence of guarantees that a certain set of desired states will be reached during an episode. An increasingly common approach to address safety involves the addition of a shielding system that constrains the RL actions to a safe set of actions. In turn, a difficulty for such frameworks is how to effectively couple RL with the shielding system to make sure the exploration is not excessively restricted. This work presents a novel safe model-free RL agent called Critic As Lyapunov Function (CALF) and showcases how CALF can be used to improve upon control baselines in robotics in an efficient and convenient fashion while ensuring guarantees of stable goal reaching. The latter is a crucial part of safety, as seen generally. With CALF all state-action pairs remain explorable and yet reaching of desired goal states is formally guaranteed. Formal analysis is provided that shows the goal stabilization-ensuring properties of CALF and a set of real-world and numerical experiments with a non-holonomic wheeled mobile robot (WMR) TurtleBot3 Burger confirmed the superiority of CALF over such a well-established RL agent as proximal policy optimization (PPO), and a modified version of SARSA in a few-episode setting in terms of attained total cost.