Making Universal Policies Universal
作者: Niklas Höpner, David Kuric, Herke van Hoof
分类: cs.AI
发布日期: 2025-02-20
💡 一句话要点
提出跨智能体通用策略学习方法，解决异构动作空间下的通用决策问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 通用策略学习 跨智能体学习 扩散模型 逆动力学模型 正向迁移
📋 核心要点
- 通用智能体面临异构动作空间的挑战，现有方法难以有效利用多智能体数据进行知识迁移。
- 提出一种基于扩散模型的通用策略学习框架，通过共享规划器实现跨智能体的知识迁移和策略泛化。
- 实验表明，该方法在BabyAI环境中显著提升了任务完成准确率，并展现了对未见智能体的泛化能力。
📝 摘要（中文）
本文致力于解决通用智能体在序贯决策任务中的挑战，特别是在跨智能体设置下，即智能体共享相同的观测空间但具有不同的动作空间。该研究基于通用策略框架，将策略学习解耦为两个阶段：一个基于扩散模型的规划器，用于生成观测序列；以及一个逆动力学模型，用于将动作分配给这些规划。论文提出了一种在由所有智能体的轨迹组成的联合数据集上训练规划器的方法。这种方法的优势在于通过汇集来自不同智能体的数据来实现正向迁移，而主要的挑战在于使共享的规划适应每个智能体的独特约束。在BabyAI环境中，对不同复杂度的任务进行了评估，结果表明跨智能体实现了正向迁移。此外，还考察了规划器对未见过的智能体的泛化能力，并将该方法与传统的模仿学习方法进行了比较。通过在来自多个智能体的池化数据集上进行训练，通用策略在任务完成准确率方面比在单个智能体的数据集上训练的策略提高了高达42.20%。
🔬 方法详解
问题定义：现有通用策略学习方法难以有效处理异构动作空间的问题。不同智能体拥有不同的动作空间，导致难以直接共享策略或进行知识迁移。传统的模仿学习方法通常针对单个智能体进行训练，无法充分利用其他智能体的数据来提升性能和泛化能力。因此，如何设计一种能够适应不同动作空间的通用策略学习框架，实现跨智能体的正向迁移，是本文要解决的核心问题。
核心思路：本文的核心思路是将策略学习解耦为规划和执行两个阶段。首先，利用一个通用的规划器生成观测序列，该规划器在所有智能体的数据上进行训练，从而学习到通用的任务理解和规划能力。然后，针对每个智能体训练一个逆动力学模型，将通用规划转化为该智能体可执行的动作序列。这种解耦的方式使得规划器可以共享不同智能体的数据，从而实现正向迁移，而逆动力学模型则负责将通用规划适配到每个智能体的具体动作空间。
技术框架：该方法的技术框架主要包含两个模块：扩散模型规划器和逆动力学模型。扩散模型规划器负责生成观测序列，其输入是当前观测和目标观测，输出是连接当前观测和目标观测的观测序列。逆动力学模型负责将观测序列转化为动作序列，其输入是当前观测和下一个观测，输出是执行该动作所需要的动作。整个训练过程分为两个阶段：首先，在所有智能体的数据上训练扩散模型规划器；然后，针对每个智能体，使用其自身的数据训练逆动力学模型。
关键创新：本文最重要的技术创新点在于提出了一个基于扩散模型的通用规划器，该规划器可以在所有智能体的数据上进行训练，从而学习到通用的任务理解和规划能力。与传统的模仿学习方法相比，该方法能够充分利用不同智能体的数据，实现正向迁移，从而提升性能和泛化能力。此外，通过将策略学习解耦为规划和执行两个阶段，该方法能够更好地适应异构动作空间的问题。
关键设计：扩散模型规划器使用标准的扩散模型架构，通过逐步添加噪声的方式将观测序列转化为噪声，然后通过学习逆过程将噪声还原为观测序列。逆动力学模型使用一个简单的神经网络，其输入是当前观测和下一个观测，输出是执行该动作所需要的动作。损失函数包括扩散模型的重构损失和逆动力学模型的动作预测损失。在训练过程中，使用Adam优化器进行优化，并采用了一些常用的正则化技术来防止过拟合。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在BabyAI环境中，通过在多个智能体的池化数据集上进行训练，该通用策略在任务完成准确率方面比在单个智能体的数据集上训练的策略提高了高达42.20%。此外，实验还证明了该方法具有良好的泛化能力，能够成功应用于未见过的智能体。
🎯 应用场景
该研究成果可应用于机器人、游戏AI等领域，尤其是在需要多个智能体协同完成任务，但每个智能体具有不同控制能力的场景下。例如，在多机器人协同搬运任务中，每个机器人的机械结构和控制方式可能不同，该方法可以帮助训练一个通用的规划器，然后针对每个机器人学习一个逆动力学模型，从而实现高效的协同搬运。
📄 摘要（原文）
The development of a generalist agent capable of solving a wide range of sequential decision-making tasks remains a significant challenge. We address this problem in a cross-agent setup where agents share the same observation space but differ in their action spaces. Our approach builds on the universal policy framework, which decouples policy learning into two stages: a diffusion-based planner that generates observation sequences and an inverse dynamics model that assigns actions to these plans. We propose a method for training the planner on a joint dataset composed of trajectories from all agents. This method offers the benefit of positive transfer by pooling data from different agents, while the primary challenge lies in adapting shared plans to each agent's unique constraints. We evaluate our approach on the BabyAI environment, covering tasks of varying complexity, and demonstrate positive transfer across agents. Additionally, we examine the planner's generalisation ability to unseen agents and compare our method to traditional imitation learning approaches. By training on a pooled dataset from multiple agents, our universal policy achieves an improvement of up to $42.20\%$ in task completion accuracy compared to a policy trained on a dataset from a single agent.