METTA: Memory-Enhanced Test-Time Adaptation for Meta-Reinforcement Learning

📄 arXiv: 2610.31656v1 📥 PDF

作者: Ali Najar, Hosein Hasani, Amir Kooshan Fattah, Yasamin Rajabi, Mahdieh Soleymani Baghshah

分类: cs.LG, cs.AI

发布日期: 2026-10-22

备注: 9 pages

💡 一句话要点

提出METTA以解决元强化学习中的快速适应问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 元强化学习 快速适应 因果神经记忆 任务推理 结构化探索

📋 核心要点

  1. 现有元强化学习方法在快速适应未见任务时面临长时间交互历史的任务证据表示不足的问题。
  2. METTA通过因果神经记忆和集级摘要的结合，优化了适应过程，降低了计算复杂度。
  3. 在实验中，METTA在长上下文稀疏奖励任务中表现优于基于变换器的基线，展现出更结构化的探索行为。

📝 摘要（中文）

元强化学习旨在训练能够快速适应未见任务的智能体，但这需要在长时间交互历史中表示任务证据。传统的递归智能体将经验压缩为隐藏状态，而基于变换器的智能体在内存和计算成本上呈现二次增长。本文提出了记忆增强的测试时适应（METTA），将快速适应阶段分解为两个时间尺度：因果神经记忆在集内适应中以线性序列复杂度执行细粒度调整，而紧凑的集级摘要则支持跨集任务推理。通过为智能体配备神经记忆，METTA在未见的持有任务和任务家族的适应能力上表现出色，在Meta-World ML10/45测试环境中成功率超过50%。

🔬 方法详解

问题定义：本文解决元强化学习中智能体如何在长时间交互历史中有效表示任务证据的问题。现有方法如递归和变换器智能体在适应新任务时存在计算和内存成本高的问题。

核心思路：METTA的核心思路是将快速适应过程分解为两个时间尺度，利用因果神经记忆进行细粒度的集内适应，同时使用紧凑的集级摘要进行跨集任务推理，从而提高适应效率。

技术框架：METTA的整体架构包括两个主要模块：因果神经记忆模块负责在单个任务内的快速适应，而集级摘要模块则用于在多个任务间进行有效推理。这种分解使得适应过程在时间和空间复杂度上均得以优化。

关键创新：METTA的主要创新在于引入了因果神经记忆，显著降低了适应过程的计算复杂度，并提高了智能体在未见任务上的表现能力。这与传统方法相比，提供了更高的适应性和可扩展性。

关键设计：在设计上，METTA采用了线性序列复杂度的因果神经记忆结构，并结合了紧凑的集级摘要，以支持长范围的任务推理。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Meta-World ML10/45测试环境中，METTA的成功率超过50%，同时保持了较低的训练预算和短的时间消耗。在长上下文稀疏奖励的PointMaze任务中，METTA的表现优于基于变换器的基线，展现出更为结构化的探索行为，证明了其有效性。

🎯 应用场景

METTA的研究成果在多个领域具有潜在应用价值，尤其是在需要快速适应新环境的机器人技术、自动驾驶、智能游戏等领域。其高效的适应能力和低计算成本使得在实际应用中更具可行性，未来可能推动智能体在复杂任务中的广泛应用。

📄 摘要（原文）

Meta-reinforcement learning aims to train agents that adapt quickly to unseen tasks from limited interaction, but this requires representing task evidence over long interaction histories. Classical recurrent agents compress experience into hidden states, while transformer-based agents retrieve from past trajectories at quadratic memory and computation cost. In this work, we propose Memory-Enhanced Test-Time Adaptation (METTA) for meta-reinforcement learning. It decomposes the fast adaptation phase into two temporal scales: a causal neural memory performs fine-grained within-episode adaptation with linear sequence complexity, while compact episode-level summaries support long-range cross-episode task inference without attending over the full interaction history. Moreover, equipping agents with neural memory provides sufficient expressive capacity and test-time training capability, enabling effective adaptation to unseen held-out tasks and task families at meta-test time. On unseen held-out Meta-World ML10/45 test environments, METTA achieves a success rate over $50\%$ while maintaining a low training budget and short wall-clock time. On long-context sparse-reward PointMaze tasks, it outperforms transformer-based baselines by exhibiting more structured exploration behavior. These results show that METTA provides an efficient path toward more adaptive and scalable long-context meta-RL.