Velocity-History-Based Soft Actor-Critic Tackling IROS'24 Competition "AI Olympics with RealAIGym"

📄 arXiv: 2410.20096v1 📥 PDF

作者: Tim Lukas Faust, Habib Maraqten, Erfan Aghadavoodi, Boris Belousov, Jan Peters

分类: cs.RO

发布日期: 2024-10-26

备注: 5 Pages, 3 Figures, 3 Tables

💡 一句话要点

提出基于速度历史的软演员-评论家算法，解决RealAIGym中的不稳定系统控制问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 软演员-评论家 欠驱动系统 历史信息 卷积神经网络

📋 核心要点

  1. 现有方法难以应对真实系统中未建模的影响，导致控制算法在混沌欠驱动系统中表现不佳。
  2. 通过引入基于CNN的上下文向量，编码速度历史信息，增强SAC算法对环境变化的适应性。
  3. 该方法在Pendubot和Acrobot两个赛道上均取得了优异的性能和鲁棒性，验证了其有效性。

📝 摘要（中文）

本文提出了一种针对IROS'24“AI Olympics with RealAIGym”竞赛的新颖解决方案，该竞赛旨在利用先进的控制算法稳定混沌欠驱动的动力系统。该方案基于流行的无模型、熵正则化强化学习算法——软演员-评论家（SAC）。为了抵消真实系统中未建模的影响，我们向状态向量添加了一个“上下文”向量，该向量通过卷积神经网络（CNN）编码即时历史信息。我们的方法在Pendubot和Acrobot两个赛道的比赛中都取得了很高的性能分数和具有竞争力的鲁棒性分数。

🔬 方法详解

问题定义：该论文旨在解决在真实物理环境中，对欠驱动、混沌动力系统进行稳定控制的问题。现有强化学习方法在模拟环境中表现良好，但在真实环境中，由于未建模的动力学特性、噪声和干扰等因素，性能会显著下降。这些因素使得智能体难以准确预测状态转移，从而影响控制策略的有效性。

核心思路：论文的核心思路是利用历史状态信息来补偿未建模的动力学特性。通过将过去一段时间内的状态信息（特别是速度信息）编码成一个上下文向量，提供给强化学习智能体，使其能够更好地理解当前环境的状态，并做出更准确的决策。这种方法类似于人类在控制复杂系统时，会根据过去的经验来调整控制策略。

技术框架：该方法基于软演员-评论家（SAC）算法，并在SAC的状态输入中增加了一个上下文向量。整体框架包括以下几个主要模块：1）状态观测模块：获取当前环境的状态信息。2）历史编码模块：利用卷积神经网络（CNN）对历史状态信息进行编码，生成上下文向量。3）SAC算法模块：使用SAC算法训练演员网络和评论家网络，其中演员网络用于生成控制策略，评论家网络用于评估控制策略的价值。4）控制执行模块：将演员网络生成的控制指令发送给真实环境，执行控制操作。

关键创新：该论文的关键创新在于将历史状态信息融入到强化学习的状态表示中。通过使用CNN对历史速度信息进行编码，能够有效地提取出与当前状态相关的动态特征，从而提高智能体对环境变化的适应性。这种方法不同于传统的马尔可夫决策过程（MDP）假设，即当前状态包含了所有必要的信息，而是考虑了历史信息对当前决策的影响。

关键设计：论文中使用了卷积神经网络（CNN）来提取历史速度信息的特征。CNN的结构和参数需要根据具体的任务进行调整。此外，上下文向量的维度、SAC算法的学习率、折扣因子等超参数也需要进行仔细的调整，以获得最佳的性能。损失函数方面，仍然采用SAC算法中常用的软Q学习损失和策略梯度损失。论文中可能还涉及了对奖励函数的调整，以鼓励智能体更快地学习到稳定的控制策略（具体细节未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在IROS'24“AI Olympics with RealAIGym”竞赛的Pendubot和Acrobot两个赛道上都取得了优异的性能和鲁棒性分数，证明了其有效性。具体性能数据和对比基线信息未知，但摘要中强调了其在两个赛道上的竞争力，表明该方法相对于其他参赛方案具有显著优势。

🎯 应用场景

该研究成果可应用于各种需要精确控制的欠驱动系统中，例如机器人平衡控制、无人机姿态控制、以及其他复杂的工业控制系统。通过利用历史信息，可以提高控制系统的鲁棒性和适应性，使其能够在真实环境中稳定运行。此外，该方法也可以推广到其他强化学习算法中，提高其在复杂环境中的性能。

📄 摘要（原文）

The `AI Olympics with RealAIGym'' competition challenges participants to stabilize chaotic underactuated dynamical systems with advanced control algorithms. In this paper, we present a novel solution submitted to IROS'24 competition, which builds upon Soft Actor-Critic (SAC), a popular model-free entropy-regularized Reinforcement Learning (RL) algorithm. We add acontext' vector to the state, which encodes the immediate history via a Convolutional Neural Network (CNN) to counteract the unmodeled effects on the real system. Our method achieves high performance scores and competitive robustness scores on both tracks of the competition: Pendubot and Acrobot.