DEAS: DEtached value learning with Action Sequence for Scalable Offline RL

📄 arXiv: 2510.07730v1 📥 PDF

作者: Changyeon Kim, Haeone Lee, Younggyo Seo, Kimin Lee, Yuke Zhu

分类: cs.LG, cs.AI, cs.RO

发布日期: 2025-10-09

备注: Project website: https://changyeon.site/deas

💡 一句话要点

DEAS：利用动作序列和解耦价值学习实现可扩展的离线强化学习

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 离线强化学习 动作序列 价值学习 解耦价值学习 长时序任务 机器人控制 视觉-语言-动作模型

📋 核心要点

  1. 现有离线强化学习方法在处理复杂、长时序决策任务时面临挑战，难以有效利用离线数据。
  2. DEAS通过引入动作序列进行价值学习，并结合解耦价值学习来避免价值高估，从而提升性能。
  3. 实验表明，DEAS在长时序任务上优于基线方法，并能提升视觉-语言-动作模型在机器人任务中的表现。

📝 摘要（中文）

离线强化学习（RL）为训练智能体提供了一种无需昂贵的在线交互的有效方法。然而，当前的方法在处理复杂的、长时序序列决策问题时仍然面临挑战。本文提出了一种简单而有效的离线强化学习框架，名为DEtached value learning with Action Sequence (DEAS)，它利用动作序列进行价值学习。这些时间上扩展的动作提供了比单步动作更丰富的信息，并且可以通过半马尔可夫决策过程Q学习的选项框架进行解释，从而通过一次考虑更长的序列来减少有效的规划范围。然而，在actor-critic算法中直接采用这样的序列会引入过度的价值高估，我们通过解耦价值学习来解决这个问题，该方法将价值估计引导到离线数据集中实现高回报的分布内动作。我们证明了DEAS在OGBench的复杂、长时序任务上始终优于基线，并且可以应用于增强预测动作序列的大规模视觉-语言-动作模型的性能，从而显著提高RoboCasa厨房模拟任务和真实世界操作任务的性能。

🔬 方法详解

问题定义：离线强化学习旨在利用预先收集好的静态数据集训练智能体，避免在线探索带来的高昂成本。然而，在长时序任务中，现有方法难以有效利用离线数据进行价值估计，容易产生价值高估问题，导致策略性能不佳。尤其是在复杂环境中，单步动作的价值信息不足以指导智能体做出正确的决策。

核心思路：DEAS的核心思路是利用动作序列来扩展动作空间，从而提供更丰富的价值信息。通过将多个连续动作视为一个“选项”，可以有效缩短规划视野，加速学习过程。同时，为了解决动作序列带来的价值高估问题，DEAS采用解耦价值学习，将价值估计限制在离线数据集中表现良好的动作上。

技术框架：DEAS采用Actor-Critic框架。Actor负责生成动作序列，Critic负责评估动作序列的价值。整体流程如下：1) 从离线数据集中采样状态；2) Actor根据当前状态生成动作序列；3) Critic评估该动作序列的价值；4) 使用解耦价值学习更新Critic网络，使其更准确地评估离线数据集中表现良好的动作序列；5) 使用策略梯度更新Actor网络，使其生成更有价值的动作序列。

关键创新：DEAS的关键创新在于两个方面：一是利用动作序列进行价值学习，二是采用解耦价值学习来解决价值高估问题。动作序列能够提供更丰富的上下文信息，帮助智能体更好地理解环境。解耦价值学习则能够有效地限制价值估计的范围，避免过度乐观的估计。

关键设计：DEAS的关键设计包括：1) 动作序列的长度：需要根据任务的复杂程度进行调整，过短的序列可能无法提供足够的信息，过长的序列则会增加计算复杂度；2) 解耦价值学习的实现方式：可以通过引入额外的损失函数，或者修改价值网络的结构来实现；3) Actor和Critic网络的结构：可以采用常见的神经网络结构，如MLP或Transformer。

📊 实验亮点

DEAS在OGBench的长时序任务上取得了显著的性能提升，超越了现有的离线强化学习方法。此外，DEAS还成功应用于RoboCasa厨房模拟任务和真实世界操作任务，显著提升了视觉-语言-动作模型的性能。实验结果表明，DEAS能够有效地利用动作序列进行价值学习，并解决价值高估问题，从而提升离线强化学习的性能。

🎯 应用场景

DEAS具有广泛的应用前景，例如机器人控制、游戏AI、自动驾驶等领域。在机器人控制中，DEAS可以帮助机器人学习复杂的动作序列，从而完成更复杂的任务。在游戏AI中，DEAS可以训练出更智能的AI对手，提升游戏体验。在自动驾驶中，DEAS可以帮助车辆学习更安全的驾驶策略，减少事故的发生。此外，DEAS还可以应用于推荐系统、金融交易等领域。

📄 摘要（原文）

Offline reinforcement learning (RL) presents an attractive paradigm for training intelligent agents without expensive online interactions. However, current approaches still struggle with complex, long-horizon sequential decision making. In this work, we introduce DEtached value learning with Action Sequence (DEAS), a simple yet effective offline RL framework that leverages action sequences for value learning. These temporally extended actions provide richer information than single-step actions and can be interpreted through the options framework via semi-Markov decision process Q-learning, enabling reduction of the effective planning horizon by considering longer sequences at once. However, directly adopting such sequences in actor-critic algorithms introduces excessive value overestimation, which we address through detached value learning that steers value estimates toward in-distribution actions that achieve high return in the offline dataset. We demonstrate that DEAS consistently outperforms baselines on complex, long-horizon tasks from OGBench and can be applied to enhance the performance of large-scale Vision-Language-Action models that predict action sequences, significantly boosting performance in both RoboCasa Kitchen simulation tasks and real-world manipulation tasks.