Learning Multiple Timescales for Goal-Conditioned Reinforcement Learning

📄 arXiv: 2610.00849v1 📥 PDF

作者: Pedro Robles Dutenhefner, Dikshant Shehmar, Wagner Meira, Marlos C. Machado

分类: cs.AI, stat.ML

发布日期: 2026-10-01

💡 一句话要点

提出GITA以解决长时间跨度目标条件强化学习问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 目标条件强化学习 长时间跨度 通用隐式时间抽象 优势加权监督 离线学习 策略更新 机器人导航 智能体学习

📋 核心要点

  1. 现有的离线目标条件强化学习方法在长时间跨度任务中表现不佳，折扣机制导致远程状态的价值差异难以被有效利用。
  2. 本文提出的GITA方法通过对不同的k值进行条件化，聚合优势加权监督，解决了固定k值带来的局限性。
  3. 实验结果表明，GITA在OGBench上显著提高了任务的平均成功率，展示了其在离线GCRL中的优越性。

📝 摘要（中文）

现有的离线目标条件强化学习（GCRL）方法在处理长时间跨度任务时面临挑战。折扣机制会缩小远程状态之间的价值差异，导致代理无法有效区分状态。时间抽象技术通过将k个环境步骤视为单一转移来恢复这一信号，但固定的k值无法适应所有状态-目标距离。本文提出了一种通用隐式时间抽象（GITA），通过对k进行条件化来训练单一价值函数，利用多个k值的优势加权监督来聚合策略更新。GITA在OGBench上超越了多种离线GCRL基线，平均成功率提高了25个百分点（73%的相对提升），并且在最强的固定k方法OTA上提升了7个百分点（14%的相对提升）。

🔬 方法详解

问题定义：本文旨在解决离线目标条件强化学习中长时间跨度任务的信号缺失问题。现有方法由于折扣机制，导致远程状态的价值差异被缩小，代理难以有效区分状态。

核心思路：GITA通过对k值进行条件化，允许单一价值函数在不同的时间尺度上进行训练，从而在保持局部分辨率的同时，恢复长距离信号。

技术框架：GITA的整体架构包括多个阶段：首先，定义不同的k值；其次，利用优势加权监督聚合策略更新；最后，训练一个统一的价值函数以适应不同的k值。

关键创新：GITA的核心创新在于不再依赖固定的k值，而是通过条件化的方式灵活调整k，从而在局部和全局信号之间取得平衡。这一设计使得GITA能够同时保留长时间跨度的信号和局部状态的分辨率。

关键设计：GITA在损失函数中引入了优势加权机制，确保对状态-目标对的更新更为有效。此外，网络结构设计上，GITA采用了多层次的策略网络，以适应不同的k值，从而增强了模型的表达能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GITA在OGBench上表现出色，平均成功率提高了25个百分点，相较于HIQL实现了73%的相对提升。此外，GITA在最强的固定k方法OTA上也提升了7个百分点，显示了其在离线GCRL中的显著优势。

🎯 应用场景

GITA的研究成果在机器人导航、游戏智能体以及其他需要长时间决策的强化学习任务中具有广泛的应用潜力。通过提高代理在复杂环境中的表现，GITA能够推动智能体在实际应用中的有效性和可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Existing approaches to offline goal-conditioned reinforcement learning (GCRL) struggle with long-horizon tasks. Discounting shrinks value differences between distant states until they fall below the function approximation error, leaving the agent with no signal for ranking states. Temporal abstraction, which treats k environment steps as a single transition, restores this signal at long range, but no single fixed k suits all state-goal distances: large k preserves value differences across long temporal distances while collapsing distinctions between nearby states, and small k does the reverse. We make this trade-off explicit and introduce Generalized Implicit Temporal Abstraction (GITA), which conditions a single value function on k. GITA trains one policy by aggregating advantage-weighted supervision across multiple k values, so scales assigning larger positive advantages to a state-goal pair contribute more strongly to its update. GITA does not need to choose between local resolution and long-range signal; it retains both without committing to a single k. On OGBench, GITA outperforms a broad range of offline GCRL baselines, raising average success rate across all tasks by 25 percentage points (73% relative improvement) over HIQL. It also improves over the strongest fixed-k method, OTA, by 7 percentage points (14% relative).