Sequential Planning in Large Partially Observable Environments guided by LLMs

📄 arXiv: 2312.07368v1 📥 PDF

作者: Swarna Kamal Paul

分类: cs.AI, cs.RO

发布日期: 2023-12-12

备注: 8 pages, 2 figures, 1 table

💡 一句话要点

提出Neoplanner，结合状态空间搜索与LLM，提升复杂部分可观测环境下的序贯规划性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 序贯规划 大型语言模型 状态空间搜索 部分可观测环境 强化学习

📋 核心要点

  1. 现有方法在大型部分可观测环境中进行序贯规划时，面临探索困难和易陷入局部最优的问题。
  2. Neoplanner结合状态空间搜索和LLM，利用奖励信号驱动搜索，并使用LLM生成探索性行动计划。
  3. 在Scienceworld环境中的实验表明，Neoplanner在平均奖励方面比现有最佳方法提高了124%。

📝 摘要（中文）

在大状态空间和动作空间中的序贯规划由于搜索空间的组合爆炸而迅速变得难以处理。启发式方法，如蒙特卡洛树搜索，虽然对大状态空间有效，但在动作空间很大时会遇到困难。纯粹的强化学习方法，仅依赖奖励信号，需要与环境进行极其大量的交互才能制定可行的计划。如果状态空间、观察和动作可以用自然语言表示，那么大型语言模型（LLM）可以用来生成行动计划。最近，像Reflexion、CLIN、SayCan等一些目标导向的智能体，以最小或没有特定任务训练的方式，超越了其他最先进方法的性能。但它们仍然在探索方面遇到困难，并陷入局部最优。它们的规划能力受到基础LLM在文本数据上的有限推理能力的限制。我们提出了一种混合智能体“neoplanner”，它协同了状态空间搜索和对基础LLM的查询，以获得最佳行动计划。奖励信号被定量地用于驱动搜索。通过最大化状态值的上限置信区间来保持探索和利用的平衡。在需要随机探索的地方，查询LLM以生成行动计划。每次试验的学习结果以文本格式存储为实体关系。这些被用于未来对LLM的查询，以实现持续改进。在Scienceworld环境中的实验表明，在多个任务中获得的平均奖励方面，比当前最佳方法提高了124%。

🔬 方法详解

问题定义：论文旨在解决大型部分可观测环境中序贯规划的难题，现有方法如蒙特卡洛树搜索在大动作空间下表现不佳，而纯强化学习需要大量环境交互。基于LLM的智能体虽然表现出潜力，但受限于LLM的推理能力和探索能力，容易陷入局部最优。

核心思路：Neoplanner的核心思路是将状态空间搜索与LLM的规划能力相结合。状态空间搜索负责利用已有的奖励信息进行策略优化，而LLM则负责在需要探索时提供合理的行动建议，从而实现探索与利用的平衡。这种混合方法旨在克服单一方法的局限性，充分利用两者的优势。

技术框架：Neoplanner的整体框架包含以下几个主要模块：1) 状态空间搜索模块：使用基于奖励信号的搜索算法，例如UCT（Upper Confidence Bound applied to Trees）的变体，来评估和选择行动。2) LLM查询模块：当需要探索新的行动时，向LLM发送查询，请求生成行动计划。查询内容包括当前状态的描述、目标以及之前学习到的经验。3) 经验存储模块：将每次试验的学习结果以实体关系的形式存储为文本，用于后续LLM查询，以提高LLM的规划能力。4) 行动执行模块：执行选定的行动，并观察环境的反馈（奖励和新的状态）。

关键创新：Neoplanner的关键创新在于将状态空间搜索和LLM的规划能力有机结合。与纯粹依赖LLM的方法相比，Neoplanner能够更好地利用奖励信号进行策略优化，避免盲目探索。与传统的状态空间搜索方法相比，Neoplanner能够利用LLM的知识和推理能力来生成更合理的探索性行动，从而加速学习过程。

关键设计：Neoplanner的关键设计包括：1) 如何设计LLM的查询，使其能够有效地利用LLM的知识和推理能力。2) 如何平衡状态空间搜索和LLM查询之间的关系，以实现最佳的探索与利用平衡。3) 如何有效地存储和利用学习到的经验，以提高LLM的规划能力。论文中可能涉及一些超参数的设置，例如UCT算法中的探索系数，以及LLM查询的频率等。

📊 实验亮点

Neoplanner在Scienceworld环境中进行了实验，结果表明，与当前最佳方法相比，Neoplanner在多个任务中获得的平均奖励提高了124%。这一显著的提升表明Neoplanner能够有效地结合状态空间搜索和LLM的规划能力，从而在复杂环境中实现更好的序贯规划性能。该实验结果验证了Neoplanner的有效性和优越性。

🎯 应用场景

Neoplanner具有广泛的应用潜力，例如机器人导航、游戏AI、任务规划等。在这些领域中，智能体需要在复杂且部分可观测的环境中进行序贯决策。Neoplanner能够有效地利用环境反馈和LLM的知识，从而提高智能体的规划能力和适应性。该研究的实际价值在于能够降低智能体与环境交互的成本，并提高智能体的学习效率。未来，Neoplanner可以应用于更复杂的现实世界场景，例如自动驾驶、智能制造等。

📄 摘要（原文）

Sequential planning in large state space and action space quickly becomes intractable due to combinatorial explosion of the search space. Heuristic methods, like monte-carlo tree search, though effective for large state space, but struggle if action space is large. Pure reinforcement learning methods, relying only on reward signals, needs prohibitively large interactions with the environment to device a viable plan. If the state space, observations and actions can be represented in natural language then Large Language models (LLM) can be used to generate action plans. Recently several such goal-directed agents like Reflexion, CLIN, SayCan were able to surpass the performance of other state-of-the-art methods with minimum or no task specific training. But they still struggle with exploration and get stuck in local optima. Their planning capabilities are limited by the limited reasoning capability of the foundational LLMs on text data. We propose a hybrid agent "neoplanner", that synergizes both state space search with queries to foundational LLM to get the best action plan. The reward signals are quantitatively used to drive the search. A balance of exploration and exploitation is maintained by maximizing upper confidence bounds of values of states. In places where random exploration is needed, the LLM is queried to generate an action plan. Learnings from each trial are stored as entity relationships in text format. Those are used in future queries to the LLM for continual improvement. Experiments in the Scienceworld environment reveals a 124% improvement from the current best method in terms of average reward gained across multiple tasks.