Retrieval-Augmented Hierarchical in-Context Reinforcement Learning and Hindsight Modular Reflections for Task Planning with LLMs

📄 arXiv: 2408.06520v2 📥 PDF

作者: Chuanneng Sun, Songjun Huang, Dario Pompili

分类: cs.RO, cs.CL

发布日期: 2024-08-12 (更新: 2024-10-04)

💡 一句话要点

提出RAHL框架，结合检索增强和分层强化学习，提升LLM在任务规划中的决策能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 分层强化学习 任务规划 机器人导航 上下文学习 后见反思 决策智能

📋 核心要点

  1. 现有方法难以有效利用LLM进行复杂任务规划，缺乏对任务的动态分解和高效反思机制。
  2. RAHL框架结合检索增强和分层强化学习，利用LLM进行任务分解，并采用后见模块化反思提升学习效率。
  3. 实验表明，RAHL在多个基准测试中显著提升了性能，并在真实机器人平台上验证了其可行性。

📝 摘要（中文）

本文提出了一种检索增强的上下文强化学习框架(RAHL)，该框架受到分层强化学习(HRL)的启发，利用大型语言模型(LLM)将复杂任务分解为子任务。具体而言，RAHL使用基于LLM的高层策略动态地将复杂任务分解为子任务，这些子任务由目标定义，并分配给低层策略来完成。为了提高智能体在多轮执行中的性能，本文还提出了后见模块化反思(HMR)，该方法让智能体反思较短的子轨迹，而不是完整的轨迹，从而提高反思效率。在ALFWorld、Webshop和HotpotQA三个基准环境中评估了RAHL的决策能力。结果表明，在5轮执行中，RAHL相对于强大的基线，性能分别提高了9%、42%和10%。此外，还在Boston Dynamics SPOT机器人上实现了RAHL，实验表明，该机器人可以在LLM策略的控制下扫描环境、找到入口并导航到新的房间。

🔬 方法详解

问题定义：论文旨在解决如何利用大型语言模型(LLM)进行复杂任务规划的问题。现有方法通常难以将复杂任务有效分解为可执行的子任务，并且缺乏高效的反思机制，导致在多轮交互中性能提升有限。

核心思路：论文的核心思路是借鉴分层强化学习(HRL)的思想，将复杂任务分解为子任务，并利用LLM作为高层策略进行动态的任务分解。同时，引入后见模块化反思(HMR)机制，通过反思子轨迹来提高学习效率。

技术框架：RAHL框架包含两个主要层次：高层策略和低层策略。高层策略基于LLM，负责将复杂任务分解为一系列子任务，每个子任务由一个目标定义。低层策略负责执行这些子任务，并与环境进行交互。HMR模块则在每个子任务完成后，对子轨迹进行反思，并更新高层策略。整体流程为：接收任务 -> LLM分解为子任务 -> 低层策略执行子任务 -> HMR反思子轨迹 -> 更新LLM策略 -> 重复上述过程。

关键创新：RAHL的关键创新在于以下几点：1) 结合检索增强的上下文学习(in-context learning)和分层强化学习，充分利用LLM的知识和推理能力。2) 提出后见模块化反思(HMR)机制，通过反思子轨迹来提高学习效率，避免了对完整轨迹的反思，降低了计算复杂度。3) 将LLM应用于高层策略，实现了任务的动态分解和规划。

关键设计：论文中LLM的选择和prompt的设计至关重要，需要根据具体任务进行调整。HMR模块中，反思的粒度（子轨迹的长度）需要仔细选择，过短可能导致信息不足，过长则会降低效率。此外，低层策略的设计也需要根据环境特点进行调整，例如可以使用传统的强化学习算法或模仿学习算法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RAHL在ALFWorld、Webshop和HotpotQA三个基准环境中，相对于强大的基线，在5轮执行中性能分别提高了9%、42%和10%。此外，在Boston Dynamics SPOT机器人上的实验验证了RAHL在真实环境中的可行性，机器人能够扫描环境、找到入口并导航到新的房间。

🎯 应用场景

该研究成果可应用于机器人导航、智能家居、自动化客服等领域。通过结合LLM的强大推理能力和强化学习的自学习能力，可以实现更智能、更灵活的任务规划和执行，提升人机交互的效率和用户体验。未来，该方法有望扩展到更复杂的任务和更广泛的应用场景。

📄 摘要（原文）

Large Language Models (LLMs) have demonstrated remarkable abilities in various language tasks, making them promising candidates for decision-making in robotics. Inspired by Hierarchical Reinforcement Learning (HRL), we propose Retrieval-Augmented in-context reinforcement Learning (RAHL), a novel framework that decomposes complex tasks into sub-tasks using an LLM-based high-level policy, in which a complex task is decomposed into sub-tasks by a high-level policy on-the-fly. The sub-tasks, defined by goals, are assigned to the low-level policy to complete. To improve the agent's performance in multi-episode execution, we propose Hindsight Modular Reflection (HMR), where, instead of reflecting on the full trajectory, we let the agent reflect on shorter sub-trajectories to improve reflection efficiency. We evaluated the decision-making ability of the proposed RAHL in three benchmark environments--ALFWorld, Webshop, and HotpotQA. The results show that RAHL can achieve an improvement in performance in 9%, 42%, and 10% in 5 episodes of execution in strong baselines. Furthermore, we also implemented RAHL on the Boston Dynamics SPOT robot. The experiment shows that the robot can scan the environment, find entrances, and navigate to new rooms controlled by the LLM policy.