LgTS: Dynamic Task Sampling using LLM-generated sub-goals for Reinforcement Learning Agents

📄 arXiv: 2310.09454v1 📥 PDF

作者: Yash Shukla, Wenchang Gao, Vasanth Sarathy, Alvaro Velasquez, Robert Wright, Jivko Sinapov

分类: cs.AI, cs.LG

发布日期: 2023-10-14

💡 一句话要点

提出LgTS以解决强化学习代理的动态任务采样问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 强化学习 动态任务采样 教师-学生学习 子目标生成

📋 核心要点

  1. 现有方法通常依赖于微调的LLM和预训练策略，限制了其在动态环境中的应用。
  2. LgTS方法通过生成子目标的图形表示，帮助RL代理在没有环境动态信息的情况下进行有效学习。
  3. 实验结果显示，LgTS在DoorKey和搜索与救援领域中显著减少了环境交互次数，提高了学习效率。

📝 摘要（中文）

近年来，大型语言模型（LLM）在高层次规划中的推理能力得到了显著提升，促进了其在机器人和人工智能代理中的应用。然而，现有技术在利用LLM进行规划时，通常假设可以访问允许微调的数据集、精心设计的提示以及确定性的执行方式。本文提出了LgTS（LLM引导的教师-学生学习），探索LLM的规划能力，为没有环境过渡动态信息的强化学习（RL）代理提供子目标的图形表示。RL代理使用教师-学生学习算法在最小化环境交互的同时，从起始状态学习成功的策略以达到目标状态。通过在基于网格世界的DoorKey领域和灵感来自搜索与救援的领域进行实验，结果表明生成子目标的图形结构有助于学习LLM提出的子目标的策略，同时教师-学生学习算法在未知过渡动态下最小化了环境交互次数。

🔬 方法详解

问题定义：本文旨在解决强化学习代理在未知环境动态下的任务采样问题。现有方法依赖于微调的LLM和预训练策略，限制了其灵活性和适应性。

核心思路：LgTS方法通过利用LLM生成的子目标图形表示，指导RL代理进行学习，避免了对环境动态的依赖，从而提高了学习效率。

技术框架：LgTS的整体架构包括LLM生成子目标、教师-学生学习算法和环境交互模块。RL代理通过教师-学生学习算法从起始状态学习到目标状态，过程中生成的子目标图形结构为学习提供了指导。

关键创新：LgTS的主要创新在于不依赖于微调的LLM或预训练策略，而是直接利用LLM生成的子目标图形，显著提高了在未知环境中的学习能力。

关键设计：在设计中，LgTS采用了教师-学生学习算法，设置了适当的损失函数以优化策略学习，同时通过图形结构有效减少了环境交互次数。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在DoorKey和搜索与救援领域的实验中，LgTS方法显著减少了环境交互次数，提升了学习效率。具体而言，实验结果显示在未知环境动态下，LgTS相比于传统方法提高了策略学习的成功率，并有效缩短了学习时间。

🎯 应用场景

LgTS方法具有广泛的应用潜力，特别是在动态和不确定的环境中，如机器人导航、自动驾驶和智能制造等领域。通过提高强化学习代理的学习效率，该方法能够加速智能系统的部署和优化，具有重要的实际价值和未来影响。

📄 摘要（原文）

Recent advancements in reasoning abilities of Large Language Models (LLM) has promoted their usage in problems that require high-level planning for robots and artificial agents. However, current techniques that utilize LLMs for such planning tasks make certain key assumptions such as, access to datasets that permit finetuning, meticulously engineered prompts that only provide relevant and essential information to the LLM, and most importantly, a deterministic approach to allow execution of the LLM responses either in the form of existing policies or plan operators. In this work, we propose LgTS (LLM-guided Teacher-Student learning), a novel approach that explores the planning abilities of LLMs to provide a graphical representation of the sub-goals to a reinforcement learning (RL) agent that does not have access to the transition dynamics of the environment. The RL agent uses Teacher-Student learning algorithm to learn a set of successful policies for reaching the goal state from the start state while simultaneously minimizing the number of environmental interactions. Unlike previous methods that utilize LLMs, our approach does not assume access to a propreitary or a fine-tuned LLM, nor does it require pre-trained policies that achieve the sub-goals proposed by the LLM. Through experiments on a gridworld based DoorKey domain and a search-and-rescue inspired domain, we show that generating a graphical structure of sub-goals helps in learning policies for the LLM proposed sub-goals and the Teacher-Student learning algorithm minimizes the number of environment interactions when the transition dynamics are unknown.