Stabilizing Extreme Q-learning by Maclaurin Expansion
作者: Motoki Omura, Takayuki Osa, Yusuke Mukuta, Tatsuya Harada
分类: cs.LG, cs.AI
发布日期: 2024-06-07 (更新: 2024-09-02)
备注: Accepted at RLC 2024: The first Reinforcement Learning Conference
期刊: Reinforcement Learning Journal, 2024, Volume 3, pages 1427-1440
💡 一句话要点
提出基于麦克劳林展开的Extreme Q-learning，提升离线/在线强化学习稳定性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 强化学习 离线强化学习 在线强化学习 Extreme Q-learning 麦克劳林展开
📋 核心要点
- Extreme Q-learning (XQL) 虽然性能优异，但其损失函数中的指数项导致训练不稳定，且误差分布可能偏离Gumbel分布。
- 本文提出Maclaurin Expanded Extreme Q-learning，通过麦克劳林展开增强损失函数对大误差的鲁棒性，从而提升稳定性。
- 实验表明，该方法显著提升了在线强化学习的稳定性，并在离线强化学习任务中提高了性能。
📝 摘要（中文）
本文针对离线强化学习中，因评估数据集外动作导致性能下降的问题，提出了一种基于麦克劳林展开的Extreme Q-learning (XQL) 方法，旨在提升算法的稳定性。XQL基于Bellman误差服从Gumbel分布的假设，以样本内的方式建模软最优价值函数，并在离线和在线强化学习中表现出良好的性能。然而，XQL存在由损失函数中的指数项引起的不稳定问题，以及误差分布偏离Gumbel分布的风险。因此，本文通过对XQL的损失函数应用麦克劳林展开，增强其对大误差的鲁棒性，从而提高稳定性。该方法通过调整行为策略下的价值函数和软最优价值函数之间的建模价值函数，根据展开的阶数实现稳定性和最优性之间的权衡，并调整误差分布假设，使其从正态分布过渡到Gumbel分布。实验结果表明，该方法显著稳定了在DM Control在线强化学习任务中的学习过程，并在D4RL的多个离线强化学习任务中提高了性能。
🔬 方法详解
问题定义：Extreme Q-learning (XQL) 在离线和在线强化学习中表现良好，但其损失函数包含指数项，容易导致训练过程不稳定，尤其是在误差较大时。此外，XQL假设Bellman误差服从Gumbel分布，但实际误差分布可能偏离这一假设，影响算法性能。
核心思路：本文的核心思路是通过对XQL的损失函数进行麦克劳林展开，来增强算法对大误差的鲁棒性，从而提高训练稳定性。麦克劳林展开可以将指数函数近似为多项式，降低了损失函数对极端误差的敏感性。同时，通过调整展开的阶数，可以控制算法在稳定性和最优性之间的权衡。
技术框架：该方法在XQL的基础上，修改了损失函数。具体流程如下：首先，计算Bellman误差；然后，将XQL的损失函数中的指数项进行麦克劳林展开，得到一个多项式近似；最后，使用该多项式近似的损失函数进行训练。通过调整麦克劳林展开的阶数，可以控制算法的稳定性和最优性。
关键创新：关键创新在于将麦克劳林展开应用于XQL的损失函数。这种方法有效地降低了损失函数对大误差的敏感性，从而提高了训练稳定性。此外，通过调整展开的阶数，可以灵活地控制算法在稳定性和最优性之间的权衡，使其适应不同的任务需求。
关键设计：关键设计包括：1) 麦克劳林展开的阶数：展开阶数越高，近似精度越高，但计算复杂度也越高，稳定性可能下降。需要根据具体任务进行调整。2) 损失函数：使用麦克劳林展开后的损失函数替代原始XQL的损失函数。3) 其他参数设置：与原始XQL保持一致，例如学习率、折扣因子等。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Maclaurin Expanded Extreme Q-learning 显著稳定了在DM Control在线强化学习任务中的学习过程，解决了XQL原本不稳定的问题。此外，在D4RL的多个离线强化学习任务中，该方法也取得了性能提升，证明了其在不同场景下的有效性。
🎯 应用场景
该研究成果可应用于各种强化学习任务，尤其是在环境复杂、奖励稀疏或存在噪声的情况下。例如，机器人控制、自动驾驶、游戏AI等领域，可以利用该方法提高算法的稳定性和性能，从而实现更可靠和高效的智能决策。
📄 摘要（原文）
In offline reinforcement learning, in-sample learning methods have been widely used to prevent performance degradation caused by evaluating out-of-distribution actions from the dataset. Extreme Q-learning (XQL) employs a loss function based on the assumption that Bellman error follows a Gumbel distribution, enabling it to model the soft optimal value function in an in-sample manner. It has demonstrated strong performance in both offline and online reinforcement learning settings. However, issues remain, such as the instability caused by the exponential term in the loss function and the risk of the error distribution deviating from the Gumbel distribution. Therefore, we propose Maclaurin Expanded Extreme Q-learning to enhance stability. In this method, applying Maclaurin expansion to the loss function in XQL enhances stability against large errors. This approach involves adjusting the modeled value function between the value function under the behavior policy and the soft optimal value function, thus achieving a trade-off between stability and optimality depending on the order of expansion. It also enables adjustment of the error distribution assumption from a normal distribution to a Gumbel distribution. Our method significantly stabilizes learning in online RL tasks from DM Control, where XQL was previously unstable. Additionally, it improves performance in several offline RL tasks from D4RL.