Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers

📄 arXiv: 2410.24108v1 📥 PDF

作者: Kai Yan, Alexander G. Schwing, Yu-Xiong Wang

分类: cs.LG, cs.AI

发布日期: 2024-10-31

备注: Accepted as NeurIPS 2024 spotlight. 33 pages, 26 figures

💡 一句话要点

利用强化学习梯度优化在线微调决策Transformer，提升低奖励数据预训练模型的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 决策Transformer 在线微调 强化学习 梯度优化 Return-To-Go 价值函数 优势函数

📋 核心要点

  1. 现有在线决策Transformer（ODT）在低奖励数据预训练后微调效果差，主要原因是Return-To-Go（RTG）与预期回报差距大。
  2. 该论文提出将TD3梯度加入ODT的微调过程，利用价值函数和优势函数来指导学习，从而改善微调效果。
  3. 实验结果表明，加入TD3梯度后，ODT的在线微调性能显著提升，尤其是在低奖励数据预训练的情况下。

📝 摘要（中文）

决策Transformer是离线强化学习中一种新兴且引人注目的范例，它以自回归方式完成轨迹。尽管在克服初始缺陷方面取得了一些进展，但决策Transformer的在线微调却出人意料地未被充分探索。目前广泛采用的最先进的在线决策Transformer（ODT）在用低奖励离线数据进行预训练时仍然表现不佳。本文从理论上分析了决策Transformer的在线微调，表明常用的Return-To-Go（RTG）与预期回报相差甚远，阻碍了在线微调过程。然而，标准强化学习算法的价值函数和优势函数可以很好地解决这个问题。正如我们的分析所表明的那样，在我们的实验中，我们发现简单地将TD3梯度添加到ODT的微调过程中，可以有效地提高ODT的在线微调性能，特别是当ODT使用低奖励离线数据进行预训练时。这些发现为进一步改进决策Transformer提供了新的方向。

🔬 方法详解

问题定义：决策Transformer在离线强化学习中表现出色，但其在线微调能力仍有待提高。尤其是在使用低奖励离线数据进行预训练时，现有的在线决策Transformer（ODT）的性能会受到严重影响。核心问题在于，常用的Return-To-Go（RTG）目标与实际期望回报之间存在较大偏差，导致微调过程不稳定，难以收敛到最优策略。

核心思路：该论文的核心思路是借鉴传统强化学习算法中的价值函数和优势函数的概念，利用它们来指导决策Transformer的在线微调。价值函数和优势函数能够更准确地估计状态的价值和动作的优劣，从而克服RTG目标偏差带来的问题。通过引入强化学习的梯度信息，可以更有效地调整决策Transformer的参数，使其更好地适应在线环境。

技术框架：该方法在现有的在线决策Transformer（ODT）框架基础上进行改进。主要流程如下：首先，使用离线数据预训练决策Transformer。然后，在在线微调阶段，除了使用标准的决策Transformer损失函数外，还引入了TD3算法的梯度信息。具体来说，TD3算法用于估计价值函数和优势函数，并计算相应的梯度。这些梯度与决策Transformer的梯度相结合，共同用于更新模型参数。

关键创新：该论文的关键创新在于将强化学习的梯度信息引入到决策Transformer的在线微调过程中。与传统的仅依赖RTG目标的微调方法相比，该方法能够更准确地估计状态和动作的价值，从而提高微调的效率和稳定性。这种方法尤其适用于使用低奖励离线数据进行预训练的情况，能够有效克服RTG目标偏差带来的问题。

关键设计：在具体实现上，该论文使用了TD3算法来估计价值函数和优势函数。TD3算法是一种常用的无模型强化学习算法，具有较好的稳定性和收敛性。TD3的梯度信息通过加权的方式与决策Transformer的梯度信息相结合。权重的选择需要根据具体任务进行调整。此外，为了保证训练的稳定性，还使用了梯度裁剪等技巧。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，将TD3梯度添加到ODT的微调过程中，可以显著提高在线微调性能。尤其是在使用低奖励离线数据进行预训练时，性能提升更为明显。具体数据提升幅度未知，但论文强调了其有效性。

🎯 应用场景

该研究成果可应用于各种需要在线学习和适应的强化学习任务，例如机器人控制、游戏AI、推荐系统和金融交易。尤其是在离线数据质量不高或环境动态变化的情况下，该方法能够显著提高决策Transformer的性能，使其更好地适应实际应用场景。

📄 摘要（原文）

Decision Transformers have recently emerged as a new and compelling paradigm for offline Reinforcement Learning (RL), completing a trajectory in an autoregressive way. While improvements have been made to overcome initial shortcomings, online finetuning of decision transformers has been surprisingly under-explored. The widely adopted state-of-the-art Online Decision Transformer (ODT) still struggles when pretrained with low-reward offline data. In this paper, we theoretically analyze the online-finetuning of the decision transformer, showing that the commonly used Return-To-Go (RTG) that's far from the expected return hampers the online fine-tuning process. This problem, however, is well-addressed by the value function and advantage of standard RL algorithms. As suggested by our analysis, in our experiments, we hence find that simply adding TD3 gradients to the finetuning process of ODT effectively improves the online finetuning performance of ODT, especially if ODT is pretrained with low-reward offline data. These findings provide new directions to further improve decision transformers.