Embodied Task Planning via Graph-Informed Action Generation with Large Lanaguage Model

📄 arXiv: 2601.21841v1 📥 PDF

作者: Xiang Li, Ning Yan, Masood Mortazavi

分类: cs.CL

发布日期: 2026-01-29

💡 一句话要点

提出GiG框架，利用图结构信息提升LLM在具身任务规划中的长程策略连贯性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 任务规划 大型语言模型 图神经网络 长程规划

📋 核心要点

  1. 现有LLM在具身任务规划中，受限于上下文窗口和易产生幻觉，难以维持长程策略的连贯性，导致规划失败。
  2. GiG框架通过图内图结构组织智能体记忆，利用GNN编码环境状态，并聚类图嵌入以检索结构化先验知识，从而指导规划。
  3. 实验表明，GiG在Robotouille和ALFWorld等基准测试中，显著优于现有方法，Pass@1性能提升高达37%，且计算成本更低。

📝 摘要（中文）

大型语言模型（LLM）在零样本推理方面表现出色，但将其部署为具身智能体在长程规划中仍面临挑战。与开放式文本生成不同，具身智能体必须将高层意图分解为可执行的子目标，同时严格遵守动态观察环境的逻辑。由于上下文窗口限制或违反约束的幻觉转换，标准LLM规划器经常无法在较长时间范围内保持策略连贯性。我们提出了GiG，一种新颖的规划框架，它使用图内图架构来构建具身智能体的记忆。我们的方法采用图神经网络（GNN）将环境状态编码为嵌入，并将这些嵌入组织到经验记忆库中动作连接的执行轨迹图中。通过聚类这些图嵌入，该框架能够检索结构感知的先验知识，使智能体能够将当前的决策建立在相关的过去结构模式之上。此外，我们引入了一种新颖的有界前瞻模块，该模块利用符号转换逻辑，通过接地的动作投影来增强智能体的规划能力。我们在三个具身规划基准测试（Robotouille Synchronous、Robotouille Asynchronous和ALFWorld）上评估了我们的框架。我们的方法优于最先进的基线，在Robotouille Synchronous上实现了高达22%的Pass@1性能提升，在Asynchronous上实现了37%的提升，在ALFWorld上实现了15%的提升，且计算成本相当或更低。

🔬 方法详解

问题定义：论文旨在解决具身智能体在长程任务规划中，由于LLM上下文窗口限制和易产生幻觉导致的策略不连贯问题。现有方法难以有效利用历史经验，且容易生成违反环境约束的动作序列。

核心思路：核心思路是利用图结构来组织和检索智能体的经验，从而使LLM能够更好地理解环境的结构化信息，并基于过去的成功经验进行规划。通过将环境状态编码为图嵌入，并利用图神经网络进行推理，可以有效地捕捉环境的动态变化和约束关系。

技术框架：GiG框架包含以下主要模块：1) 环境状态编码器：使用GNN将环境状态编码为图嵌入。2) 经验记忆库：存储动作连接的执行轨迹图，每个节点包含一个图嵌入。3) 结构化先验检索：通过聚类图嵌入，检索与当前状态相关的过去经验。4) 有界前瞻模块：利用符号转换逻辑，对未来动作进行预测和评估，选择最优动作。整体流程是，智能体首先观察环境状态，然后使用GNN编码状态，接着从经验记忆库中检索相关经验，最后利用有界前瞻模块选择最优动作并执行。

关键创新：最重要的技术创新点在于图内图（Graph-in-Graph）架构，它将环境状态编码为图嵌入，并将这些嵌入组织到动作连接的执行轨迹图中。这种结构化的记忆方式使得智能体能够更好地理解环境的结构化信息，并基于过去的成功经验进行规划。与现有方法相比，GiG能够更有效地利用历史经验，并减少幻觉的产生。

关键设计：GNN的具体结构（例如层数、节点特征维度等）需要根据具体任务进行调整。聚类算法的选择也会影响检索效果，例如可以使用K-means或层次聚类。有界前瞻模块的搜索深度需要根据任务的复杂程度进行调整，过深的搜索可能会导致计算成本过高。损失函数的设计需要考虑奖励的稀疏性和延迟性，可以使用强化学习中的策略梯度方法进行训练。

📊 实验亮点

GiG框架在Robotouille Synchronous、Robotouille Asynchronous和ALFWorld三个具身规划基准测试中均取得了显著的性能提升。在Robotouille Synchronous上，Pass@1性能提升了22%；在Asynchronous上，提升了37%；在ALFWorld上，提升了15%。这些结果表明，GiG框架能够有效地提升LLM在具身任务规划中的长程策略连贯性，且计算成本与现有方法相当或更低。

🎯 应用场景

该研究成果可应用于机器人导航、家庭服务机器人、自动化装配等领域。通过提升具身智能体的规划能力，可以使其更好地完成复杂任务，例如在未知环境中寻找目标物体、完成烹饪任务、进行产品组装等。未来，该技术有望应用于更广泛的智能体控制领域，实现更智能、更自主的机器人系统。

📄 摘要（原文）

While Large Language Models (LLMs) have demonstrated strong zero-shot reasoning capabilities, their deployment as embodied agents still faces fundamental challenges in long-horizon planning. Unlike open-ended text generation, embodied agents must decompose high-level intent into actionable sub-goals while strictly adhering to the logic of a dynamic, observed environment. Standard LLM planners frequently fail to maintain strategy coherence over extended horizons due to context window limitation or hallucinate transitions that violate constraints. We propose GiG, a novel planning framework that structures embodied agents' memory using a Graph-in-Graph architecture. Our approach employs a Graph Neural Network (GNN) to encode environmental states into embeddings, organizing these embeddings into action-connected execution trace graphs within an experience memory bank. By clustering these graph embeddings, the framework enables retrieval of structure-aware priors, allowing agents to ground current decisions in relevant past structural patterns. Furthermore, we introduce a novel bounded lookahead module that leverages symbolic transition logic to enhance the agents' planning capabilities through the grounded action projection. We evaluate our framework on three embodied planning benchmarks-Robotouille Synchronous, Robotouille Asynchronous, and ALFWorld. Our method outperforms state-of-the-art baselines, achieving Pass@1 performance gains of up to 22% on Robotouille Synchronous, 37% on Asynchronous, and 15% on ALFWorld with comparable or lower computational cost.