REGENT: A Retrieval-Augmented Generalist Agent That Can Act In-Context in New Environments

📄 arXiv: 2412.04759v2 📥 PDF

作者: Kaustubh Sridhar, Souradeep Dutta, Dinesh Jayaraman, Insup Lee

分类: cs.AI

发布日期: 2024-12-06 (更新: 2025-02-24)

备注: ICLR 2025 Oral, NeurIPS 2024 Workshops on Adaptive Foundation Models (AFM) and Open World Agents (OWA), 30 pages

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出REGENT：一种检索增强的通用智能体，可在新环境中进行上下文学习

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 通用智能体 检索增强 上下文学习 机器人控制 游戏AI

📋 核心要点

  1. 现有通用智能体难以快速适应新环境，限制了其在实际场景中的应用。
  2. REGENT通过检索相似经验并进行上下文学习，使智能体无需微调即可适应新环境。
  3. 实验表明，REGENT在机器人和游戏环境中显著优于现有方法，且参数和数据需求更低。

📝 摘要（中文）

构建能够快速适应新环境的通用智能体，是在数字和现实世界中部署人工智能的关键挑战。扩展当前的智能体架构是构建通用智能体最有效的方法吗？我们提出了一种新方法，即在相对较小的数据集上预训练相对较小的策略，并通过上下文学习将其适应到未见过的环境中，而无需任何微调。我们的核心思想是，检索为快速适应提供了一种强大的偏差。事实上，我们证明了即使是一个简单的基于检索的1-最近邻智能体，也为当今最先进的通用智能体提供了一个非常强大的基线。从这个起点出发，我们构建了一个半参数智能体REGENT，它在查询和检索到的邻居序列上训练基于Transformer的策略。REGENT可以通过检索增强和上下文学习推广到未见过的机器人和游戏环境中，实现这一目标所需的参数减少高达3倍，预训练数据点减少高达一个数量级，显著优于当今最先进的通用智能体。

🔬 方法详解

问题定义：现有通用智能体通常需要大量的预训练数据和参数，并且在面对全新的环境时，需要进行耗时的微调才能适应。这限制了它们在实际场景中的应用，尤其是在数据稀缺或环境快速变化的场景下。因此，如何构建一个能够快速适应新环境，且对数据和计算资源需求较低的通用智能体是一个关键问题。

核心思路：REGENT的核心思路是利用检索增强和上下文学习来实现快速适应。通过检索与当前环境相似的历史经验，智能体可以借鉴这些经验来指导其行为，而无需从头开始学习。这种方法利用了检索提供的先验知识，从而减少了对大量数据的依赖，并加速了学习过程。

技术框架：REGENT的整体架构包含以下几个主要模块：1) 经验存储库：存储历史环境和智能体的交互数据。2) 检索模块：根据当前环境状态，从经验存储库中检索最相似的K个邻居。3) 上下文学习模块：利用检索到的邻居信息，通过Transformer网络学习如何在当前环境中采取行动。该模块将查询（当前环境状态）和检索到的邻居序列作为输入，输出智能体的动作。

关键创新：REGENT最重要的技术创新点在于其半参数化的设计。它结合了参数化的Transformer网络和非参数化的检索模块，从而实现了快速适应和泛化能力。与完全参数化的方法相比，REGENT可以利用检索到的经验来补充其自身的知识，从而更好地适应新环境。与完全非参数化的方法相比，REGENT可以通过Transformer网络学习更复杂的策略，从而提高其性能。

关键设计：在REGENT中，检索模块使用1-最近邻算法，根据环境状态的相似度进行检索。上下文学习模块使用Transformer网络，该网络被训练来预测给定查询和检索到的邻居序列的动作。损失函数通常是标准的交叉熵损失或均方误差损失，具体取决于动作空间的类型。关键参数包括Transformer网络的层数、隐藏单元数和注意力头的数量。此外，经验存储库的大小和检索到的邻居数量也会影响REGENT的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

REGENT在机器人和游戏环境中取得了显著的性能提升。例如，在某些机器人控制任务中，REGENT的性能优于现有最先进的通用智能体，且参数减少高达3倍，预训练数据点减少高达一个数量级。此外，REGENT还展现出了良好的泛化能力，能够适应未见过的环境和任务。

🎯 应用场景

REGENT具有广泛的应用前景，例如机器人控制、游戏AI、自动驾驶等领域。它可以帮助智能体快速适应新的任务和环境，从而提高其在实际应用中的效率和可靠性。此外，REGENT还可以用于构建更加个性化的智能体，使其能够根据用户的偏好和习惯进行学习和适应。

📄 摘要（原文）

Building generalist agents that can rapidly adapt to new environments is a key challenge for deploying AI in the digital and real worlds. Is scaling current agent architectures the most effective way to build generalist agents? We propose a novel approach to pre-train relatively small policies on relatively small datasets and adapt them to unseen environments via in-context learning, without any finetuning. Our key idea is that retrieval offers a powerful bias for fast adaptation. Indeed, we demonstrate that even a simple retrieval-based 1-nearest neighbor agent offers a surprisingly strong baseline for today's state-of-the-art generalist agents. From this starting point, we construct a semi-parametric agent, REGENT, that trains a transformer-based policy on sequences of queries and retrieved neighbors. REGENT can generalize to unseen robotics and game-playing environments via retrieval augmentation and in-context learning, achieving this with up to 3x fewer parameters and up to an order-of-magnitude fewer pre-training datapoints, significantly outperforming today's state-of-the-art generalist agents. Website: https://kaustubhsridhar.github.io/regent-research