Multi-Task Reinforcement Learning with Language-Encoded Gated Policy Networks

📄 arXiv: 2510.06138v1 📥 PDF

作者: Rushiv Arora

分类: cs.LG, cs.AI

发布日期: 2025-10-07

备注: 14 pages, 3 figures, 12 tables, 2 appendices. Currently under review

💡 一句话要点

提出Lexical Policy Networks (LEXPOL)，利用语言编码门控策略网络解决多任务强化学习问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多任务强化学习 语言编码 门控策略网络 元学习 机器人控制

📋 核心要点

  1. 多任务强化学习面临挑战，现有方法难以有效利用任务元数据指导策略学习。
  2. LEXPOL通过语言编码和门控机制，实现子策略的动态选择和组合，提升泛化能力。
  3. 实验表明，LEXPOL在MetaWorld上表现出色，无需针对新任务进行重新训练。

📝 摘要（中文）

多任务强化学习通常依赖于任务元数据（例如简短的自然语言描述）来指导不同目标下的行为。本文提出了一种用于多任务强化学习的语言条件混合策略架构，称为Lexical Policy Networks (LEXPOL)。LEXPOL使用文本编码器对任务元数据进行编码，并使用学习到的门控模块来选择或混合多个子策略，从而实现跨任务的端到端训练。在MetaWorld基准测试中，LEXPOL在成功率和样本效率方面与强大的多任务基线相匹配或超过，而无需针对特定任务进行重新训练。为了分析其机制，我们进一步研究了具有独立于门控获得的固定专家策略的设置，并表明学习到的语言门控可以组合这些专家，以产生适合新任务描述和未见任务组合的行为。这些结果表明，自然语言元数据可以有效地索引和重组单个策略中的可重用技能。

🔬 方法详解

问题定义：多任务强化学习旨在训练一个能够完成多个不同任务的智能体。现有方法通常难以有效利用任务元数据（如自然语言描述），导致泛化能力不足，需要针对新任务进行重新训练。本论文旨在解决如何利用自然语言描述来指导多任务强化学习，提高策略的泛化性和样本效率。

核心思路：论文的核心思路是利用自然语言描述作为任务的索引，通过学习一个门控机制，动态地选择或组合多个子策略，从而适应不同的任务。这种方法允许智能体在不同的任务之间共享知识，并能够泛化到未见过的任务组合。

技术框架：LEXPOL包含三个主要模块：文本编码器、子策略集合和门控模块。文本编码器将自然语言描述编码为向量表示。子策略集合包含多个独立的策略，每个策略擅长于不同的技能或任务。门控模块根据文本编码器的输出，学习一个门控向量，用于选择或混合子策略。最终的策略输出是子策略的加权组合，权重由门控向量决定。

关键创新：LEXPOL的关键创新在于使用语言编码的门控机制来动态组合子策略。与传统的混合专家模型不同，LEXPOL使用自然语言描述作为门控的输入，从而实现了任务之间的语义关联。这种方法允许智能体根据任务的描述，选择合适的子策略，并能够泛化到未见过的任务组合。

关键设计：文本编码器可以使用预训练的语言模型（如BERT）或简单的词嵌入模型。子策略可以使用任何标准的强化学习算法进行训练，例如PPO或DDPG。门控模块可以使用多层感知机（MLP）或循环神经网络（RNN）。损失函数包括强化学习损失和门控损失，门控损失用于鼓励门控模块选择合适的子策略。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在MetaWorld基准测试中，LEXPOL在成功率和样本效率方面与强大的多任务基线相匹配或超过，而无需针对特定任务进行重新训练。特别是在处理未见过的任务组合时，LEXPOL表现出良好的泛化能力，证明了自然语言元数据可以有效地索引和重组单个策略中的可重用技能。

🎯 应用场景

LEXPOL具有广泛的应用前景，例如机器人控制、游戏AI和自动驾驶等领域。它可以用于训练能够完成多个不同任务的智能体，例如在家庭环境中执行各种家务任务的机器人，或者在游戏中扮演多个角色的AI。此外，LEXPOL还可以用于构建能够理解自然语言指令的智能体，从而实现人机协作。

📄 摘要（原文）

Multi-task reinforcement learning often relies on task metadata -- such as brief natural-language descriptions -- to guide behavior across diverse objectives. We present Lexical Policy Networks (LEXPOL), a language-conditioned mixture-of-policies architecture for multi-task RL. LEXPOL encodes task metadata with a text encoder and uses a learned gating module to select or blend among multiple sub-policies, enabling end-to-end training across tasks. On MetaWorld benchmarks, LEXPOL matches or exceeds strong multi-task baselines in success rate and sample efficiency, without task-specific retraining. To analyze the mechanism, we further study settings with fixed expert policies obtained independently of the gate and show that the learned language gate composes these experts to produce behaviors appropriate to novel task descriptions and unseen task combinations. These results indicate that natural-language metadata can effectively index and recombine reusable skills within a single policy.