From Trajectories to Instructions: Language-Conditioned Meta-Reinforcement Learning

📄 arXiv: 2607.18830v1 📥 PDF

作者: Garvit Singla, Uma Maheswari Natarajan, Raghuram Bharadwaj Diddigi

分类: cs.LG, cs.AI

发布日期: 2026-07-21

备注: Accepted at the International Conference on Artificial Neural Networks (ICANN 2026)

💡 一句话要点

提出LA-MAML以解决元强化学习中的轨迹收集问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元强化学习 模型无关元学习 任务指令 语言嵌入 机器人控制 学习效率 自动化任务

📋 核心要点

  1. 现有的MAML方法在内循环中依赖于轨迹收集和梯度更新，导致计算成本高。
  2. LA-MAML通过利用任务指令作为直接的任务特定信号，简化了内循环的适应过程。
  3. 实验结果显示，LA-MAML在性能上与基线相比具有竞争力，并且训练时间显著减少。

📝 摘要（中文）

模型无关元学习（MAML）是一种广泛应用于强化学习的框架，能够通过学习全局策略参数快速适应新任务。传统的MAML训练在内外两个循环中进行，内循环通过收集任务环境中的轨迹并应用梯度更新来适应任务特定参数，而外循环则评估这些参数并反向传播损失以改进全局参数。本文提出LA-MAML（语言适应MAML），通过学习任务指令的嵌入，替代内循环的轨迹收集和基于梯度的更新，从而实现全局策略参数的单步适应。实验结果表明，LA-MAML在BabyAI基准测试中表现出竞争力或更好的性能，同时显著降低了每次迭代的训练时间。

🔬 方法详解

问题定义：本文旨在解决传统MAML方法中内循环依赖轨迹收集和梯度更新所带来的高计算成本问题。现有方法在适应任务特定参数时效率低下，限制了其在实际应用中的可行性。

核心思路：LA-MAML的核心思想是利用任务指令作为直接的任务特定信号，替代传统的轨迹收集和基于梯度的更新。通过这种方式，LA-MAML能够在单步内适应全局策略参数，从而提高效率。

技术框架：LA-MAML的整体架构包括两个主要部分：外循环用于评估任务特定参数并反向传播损失，内循环则通过学习的任务指令嵌入直接适应全局策略参数。这样的设计使得内循环不再依赖于轨迹数据。

关键创新：LA-MAML的最大创新在于将语言指令引入内循环适应过程，显著降低了对轨迹数据的依赖。这一方法与传统的基于梯度的内循环适应方式有本质区别，提供了一种更高效的学习机制。

关键设计：在LA-MAML中，关键设计包括任务指令的嵌入学习，损失函数的设计以确保任务适应性，以及全局策略参数的更新机制。这些设计共同支持了LA-MAML在效率和性能上的提升。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，LA-MAML在BabyAI基准测试中表现出色，相较于基线方法，训练时间显著降低，同时在性能上保持竞争力，展示了语言指令在元强化学习中的有效性和效率。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动化任务执行和人机交互等场景。通过利用语言指令，LA-MAML能够在多种任务中实现快速适应，提升智能体的学习效率和灵活性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Model-Agnostic Meta-Learning (MAML) is a widely used framework for reinforcement learning (RL) that enables efficient transfer by learning global policy parameters that can be rapidly adapted to new tasks. MAML training proceeds in two loops: an inner loop where the global parameters are adapted to task-specific parameters, and an outer loop where these task-specific parameters are evaluated and losses are back-propagated to improve the global parameters. Traditionally, the inner loop adaptation is performed by collecting trajectories from the task environment and applying gradient updates on the empirical expected return, which can be a costly operation. We note that it is the outer loop that drives the actual learning of global parameters, and therefore the inner loop adaptation mechanism need not be restricted to be gradient-based. This observation leads us to ask: Can we replace the inner loop trajectory collection and gradient update with a simpler, task-specific signal? In many practical settings, tasks are naturally accompanied by language instructions. Leveraging these instructions as a direct task-specific signal, we propose LA-MAML (Language Adapted MAML), which modifies the inner loop by adapting the global policy parameters in a single step through a learned embedding of the task instruction, replacing the inner loop trajectory collection and gradient-based updates. Experiments on the BabyAI benchmark demonstrate that LA-MAML achieves competitive or improved performance compared to baselines at a significantly lower per-iteration wall-clock training time. These results demonstrate that language instructions are an effective and efficient substitute for trajectory-based inner loop adaptation in meta RL.