Decision Titan: Test-Time Training for Long-Term Memory in Offline Reinforcement Learning

📄 arXiv: 2610.01513v1 📥 PDF

作者: Jude Waide, Robert Lieck

分类: cs.AI, cs.LG

发布日期: 2026-10-01

备注: Accepted at ICML 2026 Workshop on Decision-Making from Offline Datasets to Online Adaptation: Black-Box Optimization to Reinforcement Learning

💡 一句话要点

提出Decision Titan以解决离线强化学习中的长期记忆问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长期依赖性 离线强化学习 测试时训练 决策变换器 记忆机制 序列决策 模型创新

📋 核心要点

  1. 长期依赖性是序列决策中的核心问题，现有方法如RNN和Transformer在处理此问题时存在显著局限性。
  2. 本文提出Decision Titan模型，通过在决策变换器中集成测试时训练（TTT）层来增强长期记忆能力。
  3. 实验结果表明，Decision Titan能够学习比上下文窗口长20倍的依赖性，并在时间推广上表现出色，具有实际应用潜力。

📝 摘要（中文）

长期依赖性是人工智能领域序列决策中的主要挑战。现有的递归神经网络（RNN）面临梯度消失和向量隐藏状态表达能力有限的问题，而基于Transformer的模型则受到注意力机制的平方扩展限制。本文提出了一种名为Decision Titan的模型，通过在决策变换器中增强测试时训练（TTT）层，探索其在离线强化学习中的潜力。我们在X-Maze环境中分析了该模型的性能，发现Decision Titan能够学习比上下文窗口长20倍的长期依赖性，并且在长度上能够推广到训练数据的1.7倍，但时间嵌入的选择对时间推广能力至关重要。

🔬 方法详解

问题定义：本文旨在解决离线强化学习中的长期依赖性问题。现有方法在处理序列决策时，往往无法有效捕捉长时间跨度的信息，导致性能下降。

核心思路：论文提出通过在决策变换器中引入测试时训练（TTT）层，来存储和利用记忆，从而增强模型对长期依赖性的学习能力。此设计旨在克服传统模型在记忆表达上的不足。

技术框架：整体架构包括决策变换器和TTT层，模型在训练和测试阶段均通过梯度下降更新参数，以存储情节记忆。主要模块包括输入层、TTT层和输出层。

关键创新：Decision Titan的核心创新在于将TTT框架应用于离线强化学习，突破了传统模型在长期依赖性学习上的限制，显著提升了模型的记忆能力。

关键设计：模型的关键设计包括时间嵌入的选择和TTT层的参数设置，确保模型能够有效学习和编码相关信息，从而实现更好的长期依赖性学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Decision Titan在X-Maze环境中能够学习比上下文窗口长20倍的长期依赖性，并在长度上推广至训练数据的1.7倍，展示了其在时间推广能力上的显著优势，超越了现有基线模型。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和游戏智能等需要长期决策的场景。通过增强模型的长期记忆能力，Decision Titan有望在复杂环境中实现更高效的决策，推动强化学习技术的实际应用和发展。

📄 摘要（原文）

Long-term dependencies remain a major challenge for sequential decision-making in the field of AI: RNNs suffer from vanishing gradients and the limited expressivity of vector-based hidden states, whilst Transformer-based models are limited by the quadratic scaling of attention. Recent work has proposed tackling this problem with the Test-Time Training (TTT) framework, which stores episodic memories in the parameters of a neural network through gradient descent at both train and test-time. This approach has seen success in the domain of Natural Language Processing, however, to the best of our knowledge it has not yet been applied to the domain of Reinforcement Learning (RL), nor has there been a study analysing how this memory practically functions. In this paper, we study the potential of the TTT framework for offline RL by augmenting a Decision Transformer with TTT layers, dubbed the Decision Titan. We analyse performance and properties of the model in the X-Maze environment, an extension of T-Maze designed to test sequential memory, and investigate how the memory mechanism learns by visualising gate values over time. Our key findings are that Decision Titan can learn long-term dependencies with ranges 20x longer than the context window, generalises to lengths 1.7x the training data, but crucially temporal generalisation depends on the time embeddings used, and the ability to learn long-term dependencies depends on how the relevant information is encoded.