Large Language Models as Generalizable Policies for Embodied Tasks

📄 arXiv: 2310.17722v2 📥 PDF

作者: Andrew Szot, Max Schwarzer, Harsh Agrawal, Bogdan Mazoure, Walter Talbott, Katherine Metcalf, Natalie Mackraz, Devon Hjelm, Alexander Toshev

分类: cs.LG, cs.AI, cs.CL

发布日期: 2023-10-26 (更新: 2024-04-16)

💡 一句话要点

提出LLaRP以解决视觉任务中的通用策略问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 具身AI 多模态学习 任务适应性

📋 核心要点

  1. 现有方法在处理复杂的具身视觉任务时，往往缺乏通用性和鲁棒性，难以适应多样化的任务指令。
  2. 论文提出的LLaRP方法，通过将预训练的LLM与强化学习结合，能够根据文本指令和视觉信息直接输出环境动作。
  3. 在实验中，LLaRP在1,000个未见任务上取得42%的成功率，显著优于其他基线方法，展示了其强大的通用性和适应能力。

📝 摘要（中文）

我们展示了大型语言模型（LLMs）可以被适应为具备通用性的策略，用于执行具身视觉任务。我们的方法称为大型语言模型强化学习策略（LLaRP），它将预训练的冻结LLM调整为接受文本指令和视觉自我中心观察，并直接输出环境中的动作。通过强化学习，我们训练LLaRP仅通过环境交互进行观察和行动。LLaRP对任务指令的复杂改述具有鲁棒性，并能够推广到需要新颖最优行为的新任务。在1,000个未见任务上，其成功率达到42%，是其他常见学习基线或LLMs零-shot应用的1.7倍。最后，为了帮助社区研究语言条件下的大规模多任务具身AI问题，我们发布了一个新基准，语言重排，包含150,000个训练任务和1,000个测试任务。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型在具身视觉任务中的通用性和适应性不足的问题。现有方法通常无法有效处理复杂的任务指令和环境交互。

核心思路：LLaRP通过将预训练的冻结LLM与强化学习相结合，使其能够根据文本指令和视觉输入生成环境动作，从而实现更高的通用性和鲁棒性。

技术框架：整体架构包括三个主要模块：输入模块（接收文本指令和视觉信息）、策略模块（基于LLM生成动作）和强化学习模块（通过环境反馈进行训练）。

关键创新：LLaRP的核心创新在于将LLM与强化学习结合，允许模型在复杂的环境中进行自我学习和适应，显著提升了任务的成功率和适应能力。

关键设计：在设计中，LLaRP采用了特定的损失函数来优化策略输出，并在网络结构上进行了调整，以确保模型能够有效处理多模态输入。

📊 实验亮点

LLaRP在1,000个未见任务上取得42%的成功率，显著高于其他常见学习基线，提升幅度达到1.7倍。这一结果表明LLaRP在处理复杂任务指令时的强大能力和适应性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动化任务执行和人机交互等。通过提升模型在复杂环境中的适应能力，LLaRP可以在智能家居、服务机器人和虚拟助手等实际场景中发挥重要作用，推动具身AI的发展。

📄 摘要（原文）

We show that large language models (LLMs) can be adapted to be generalizable policies for embodied visual tasks. Our approach, called Large LAnguage model Reinforcement Learning Policy (LLaRP), adapts a pre-trained frozen LLM to take as input text instructions and visual egocentric observations and output actions directly in the environment. Using reinforcement learning, we train LLaRP to see and act solely through environmental interactions. We show that LLaRP is robust to complex paraphrasings of task instructions and can generalize to new tasks that require novel optimal behavior. In particular, on 1,000 unseen tasks it achieves 42% success rate, 1.7x the success rate of other common learned baselines or zero-shot applications of LLMs. Finally, to aid the community in studying language conditioned, massively multi-task, embodied AI problems we release a novel benchmark, Language Rearrangement, consisting of 150,000 training and 1,000 testing tasks for language-conditioned rearrangement. Video examples of LLaRP in unseen Language Rearrangement instructions are at https://llm-rl.github.io.