InstructRAG: Leveraging Retrieval-Augmented Generation on Instruction Graphs for LLM-Based Task Planning

📄 arXiv: 2504.13032v1 📥 PDF

作者: Zheng Wang, Shu Xian Teo, Jun Jie Chew, Wei Shi

分类: cs.AI, cs.IR

发布日期: 2025-04-17

备注: This paper has been accepted by SIGIR 2025

💡 一句话要点

提出InstructRAG，利用指令图上的检索增强生成提升LLM在任务规划中的性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 任务规划 检索增强生成 大型语言模型 强化学习 元学习 指令图 多智能体

📋 核心要点

  1. 现有LLM任务规划方法受限于模型自身知识，难以处理复杂任务，检索增强生成(RAG)提供了一种利用外部知识的途径。
  2. InstructRAG构建指令图来组织历史动作序列，并使用强化学习和元学习训练两个智能体，分别提升可扩展性和可迁移性。
  3. 实验结果表明，InstructRAG在多个任务规划数据集上显著提升了性能，并且能够快速适应新的任务环境。

📝 摘要（中文）

大型语言模型（LLM）的最新进展使其能够作为智能体进行复杂任务的规划。现有方法通常依赖于思考-行动-观察（TAO）过程来增强LLM的性能，但这些方法常常受到LLM对复杂任务知识有限的限制。检索增强生成（RAG）通过利用外部数据库来支持基于检索信息的生成，从而提供了新的机会。本文指出了将RAG应用于任务规划的两个关键挑战（可扩展性和可迁移性）。我们提出了InstructRAG，这是一种在多智能体元强化学习框架中的新颖解决方案，旨在应对这些挑战。InstructRAG包括一个用于组织过去指令路径（正确动作序列）的图，一个使用强化学习的RL智能体来扩展图的覆盖范围以实现可扩展性，以及一个使用元学习的ML智能体来提高任务泛化能力以实现可迁移性。这两个智能体经过端到端训练，以优化整体规划性能。在四个广泛使用的任务规划数据集上的实验表明，InstructRAG显著提高了性能，并能有效地适应新任务，与现有最佳方法相比，性能提升高达19.2%。

🔬 方法详解

问题定义：现有基于LLM的任务规划方法，如依赖Thought-Action-Observation (TAO) 循环的方法，受限于LLM自身知识的不足，难以处理复杂的任务规划问题。这些方法在面对需要大量外部知识的任务时，泛化能力较差，且难以扩展到新的任务领域。

核心思路：InstructRAG的核心思路是利用检索增强生成（RAG）框架，结合指令图（Instruction Graph）来提升LLM在任务规划中的性能。通过构建一个包含历史指令路径的图结构，并利用强化学习和元学习训练智能体，从而提高模型的可扩展性和可迁移性。RAG负责从外部知识库检索相关信息，指令图则用于指导LLM生成更合理的动作序列。

技术框架：InstructRAG采用多智能体元强化学习框架。该框架包含两个主要智能体：RL-Agent和ML-Agent。RL-Agent负责通过强化学习扩展指令图的覆盖范围，提高模型的可扩展性。ML-Agent则负责通过元学习提高模型在不同任务之间的泛化能力，从而实现更好的可迁移性。整个框架通过端到端的方式进行训练，以优化整体的任务规划性能。

关键创新：InstructRAG的关键创新在于将RAG与指令图相结合，并引入多智能体元强化学习框架。传统的RAG方法通常只关注于检索相关信息，而InstructRAG则利用指令图来指导LLM生成更合理的动作序列。此外，通过引入RL-Agent和ML-Agent，InstructRAG能够同时提升模型的可扩展性和可迁移性，从而更好地适应不同的任务环境。

关键设计：指令图的设计是InstructRAG的关键。指令图中的节点表示状态，边表示动作。每个节点存储了该状态下的相关信息，例如任务描述、历史动作等。RL-Agent使用Q-learning算法来学习如何在指令图中选择最佳动作，从而扩展图的覆盖范围。ML-Agent使用Model-Agnostic Meta-Learning (MAML) 算法来学习如何在不同任务之间进行泛化。损失函数包括强化学习损失和元学习损失，用于优化RL-Agent和ML-Agent的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

InstructRAG在四个广泛使用的任务规划数据集上进行了实验，结果表明其性能显著优于现有方法。与最佳现有方法相比，InstructRAG的性能提升高达19.2%。此外，实验还表明InstructRAG能够有效地适应新的任务环境，具有良好的可迁移性。这些结果验证了InstructRAG的有效性和优越性。

🎯 应用场景

InstructRAG具有广泛的应用前景，例如机器人导航、游戏AI、自动化流程设计等。该方法可以应用于需要复杂任务规划的场景，通过利用外部知识和历史经验，提高智能体的决策能力和任务完成效率。未来，InstructRAG可以进一步扩展到更复杂的任务领域，例如智能制造、智能医疗等。

📄 摘要（原文）

Recent advancements in large language models (LLMs) have enabled their use as agents for planning complex tasks. Existing methods typically rely on a thought-action-observation (TAO) process to enhance LLM performance, but these approaches are often constrained by the LLMs' limited knowledge of complex tasks. Retrieval-augmented generation (RAG) offers new opportunities by leveraging external databases to ground generation in retrieved information. In this paper, we identify two key challenges (enlargability and transferability) in applying RAG to task planning. We propose InstructRAG, a novel solution within a multi-agent meta-reinforcement learning framework, to address these challenges. InstructRAG includes a graph to organize past instruction paths (sequences of correct actions), an RL-Agent with Reinforcement Learning to expand graph coverage for enlargability, and an ML-Agent with Meta-Learning to improve task generalization for transferability. The two agents are trained end-to-end to optimize overall planning performance. Our experiments on four widely used task planning datasets demonstrate that InstructRAG significantly enhances performance and adapts efficiently to new tasks, achieving up to a 19.2% improvement over the best existing approach.