Adjusting the Output of Decision Transformer with Action Gradient

📄 arXiv: 2510.05285v1 📥 PDF

作者: Rui Lin, Yiwen Zhang, Zhicheng Peng, Minghao Lyu

分类: cs.LG, cs.AI

发布日期: 2025-10-06

💡 一句话要点

提出基于动作梯度的决策Transformer优化方法，提升离线强化学习性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 决策Transformer 离线强化学习 动作梯度 策略优化 Q值函数

📋 核心要点

  1. 决策Transformer在离线强化学习中面临轨迹拼接和动作外推的挑战，现有方法组合使用时性能不稳定。
  2. 论文提出Action Gradient方法，通过动作梯度直接调整动作，实现类似策略梯度的优化效果，并易于集成。
  3. 实验结果表明，Action Gradient能显著提升决策Transformer的性能，部分结果达到当前最优水平。

📝 摘要（中文）

决策Transformer (DT) 将强化学习 (RL) 与 Transformer 模型相结合，为离线 RL 引入了一种新颖的方法。与以最大化累积折扣奖励为目标的经典算法不同，DT 而是最大化动作的似然性。然而，这种范式转变带来了两个关键挑战：轨迹拼接和动作外推。现有方法，例如用预测值替换特定 token 和集成策略梯度 (PG) 方法，分别解决了这些挑战，但由于固有的不稳定性，当组合使用时无法稳定地提高性能。为了解决这个问题，我们提出了一种创新的方法 Action Gradient (AG)，它直接调整动作以实现类似于 PG 的功能，同时也有助于与 token 预测技术有效集成。AG 利用 Q 值相对于动作的梯度来优化动作。实验结果表明，我们的方法可以显著提高基于 DT 的算法的性能，其中一些结果达到了最先进的水平。

🔬 方法详解

问题定义：决策Transformer (DT) 在离线强化学习中，通过最大化动作的似然性来进行学习，但存在两个主要问题：一是如何有效地将不连续的轨迹片段拼接起来，二是如何进行动作的外推，即生成训练数据中未曾出现过的动作。现有方法，如token替换和策略梯度集成，在单独使用时有效，但组合使用时由于固有的不稳定性，性能提升并不稳定。

核心思路：论文的核心思路是利用动作梯度 (Action Gradient, AG) 直接调整动作，使其朝着更有利于获得高回报的方向移动。AG 的目标是使 DT 的输出动作更接近策略梯度所指示的优化方向，从而在最大化动作似然性的同时，兼顾了策略优化。这种方法旨在解决现有方法组合时的不稳定性问题。

技术框架：AG 方法主要包含以下几个步骤：首先，使用训练好的 DT 模型生成动作序列。然后，计算 Q 值关于动作的梯度。最后，利用该梯度调整 DT 输出的动作，使其更接近最优策略。整个过程可以看作是在 DT 的基础上增加了一个动作优化模块。

关键创新：AG 的关键创新在于直接利用 Q 值关于动作的梯度来优化动作。与传统的策略梯度方法不同，AG 并不直接优化策略参数，而是通过调整动作来间接影响策略。这种方法可以更好地与 DT 的架构集成，并且避免了策略梯度方法中常见的方差过高的问题。

关键设计：AG 的关键设计包括：1) 如何准确估计 Q 值关于动作的梯度。论文可能采用了某种 Q 函数估计方法，例如 Q-learning 或 Actor-Critic 方法。2) 如何将梯度信息有效地融入到动作调整过程中。这可能涉及到一些超参数的设置，例如学习率和梯度裁剪的阈值。3) 如何平衡动作调整的幅度和稳定性，避免过度调整导致性能下降。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文提出的 Action Gradient 方法在多个离线强化学习任务上取得了显著的性能提升。具体数据未知，但摘要中提到该方法在某些任务上达到了 state-of-the-art 的水平。相较于直接集成策略梯度的方法，AG 能够更稳定地提升性能，解决了现有方法组合使用时性能不稳定的问题。

🎯 应用场景

该研究成果可应用于各种离线强化学习场景，例如机器人控制、游戏AI、自动驾驶等。通过利用离线数据进行策略学习，可以降低试错成本，提高学习效率。该方法尤其适用于那些难以进行在线交互或试错成本较高的任务。

📄 摘要（原文）

Decision Transformer (DT), which integrates reinforcement learning (RL) with the transformer model, introduces a novel approach to offline RL. Unlike classical algorithms that take maximizing cumulative discounted rewards as objective, DT instead maximizes the likelihood of actions. This paradigm shift, however, presents two key challenges: stitching trajectories and extrapolation of action. Existing methods, such as substituting specific tokens with predictive values and integrating the Policy Gradient (PG) method, address these challenges individually but fail to improve performance stably when combined due to inherent instability. To address this, we propose Action Gradient (AG), an innovative methodology that directly adjusts actions to fulfill a function analogous to that of PG, while also facilitating efficient integration with token prediction techniques. AG utilizes the gradient of the Q-value with respect to the action to optimize the action. The empirical results demonstrate that our method can significantly enhance the performance of DT-based algorithms, with some results achieving state-of-the-art levels.