LLM-Empowered Embodied Agent for Memory-Augmented Task Planning in Household Robotics

📄 arXiv: 2504.21716v1 📥 PDF

作者: Marc Glocker, Peter Hönig, Matthias Hirschmanner, Markus Vincze

分类: cs.RO, cs.AI, cs.CL

发布日期: 2025-04-30

备注: Accepted at Austrian Robotics Workshop 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出LLM驱动的具身智能体，用于家庭机器人中记忆增强的任务规划

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 具身智能 家庭机器人 任务规划 大型语言模型 记忆增强

📋 核心要点

  1. 现有家庭机器人任务规划缺乏长期记忆，难以有效跟踪和管理物品。
  2. 利用LLM驱动的智能体架构，结合RAG实现记忆增强，提升任务规划能力。
  3. 实验表明，该系统在家庭场景中具有较高的任务规划准确性和记忆召回率。

📝 摘要（中文）

本文提出了一种具身机器人系统，该系统采用LLM驱动的智能体编排架构，用于自主的家庭物品管理。该系统集成了记忆增强的任务规划，使机器人能够执行高级用户命令，同时跟踪过去的动作。它采用了三个专门的智能体：路由智能体、任务规划智能体和知识库智能体，每个智能体都由特定任务的LLM驱动。通过利用上下文学习，我们的系统避免了对显式模型训练的需求。RAG使系统能够从过去的交互中检索上下文，从而增强长期对象跟踪。Grounded SAM和LLaMa3.2-Vision的组合提供了强大的对象检测，从而促进了用于任务规划的语义场景理解。在三个家庭场景中的评估表明，任务规划的准确性很高，并且由于RAG，记忆召回得到了改善。具体来说，Qwen2.5在专用智能体方面表现最佳，而LLaMA3.1在路由任务方面表现出色。源代码可在https://github.com/marc1198/chat-hsr 获得。

🔬 方法详解

问题定义：现有家庭机器人系统在执行复杂任务时，难以有效跟踪和管理物品，尤其是在需要长期记忆和上下文理解的场景下。传统的任务规划方法通常依赖于预定义的规则或有限的知识库，无法灵活应对用户的动态需求和环境变化。因此，如何使机器人具备长期记忆能力，并能够根据历史交互信息进行智能决策，是一个重要的挑战。

核心思路：本文的核心思路是利用大型语言模型（LLM）的强大推理和生成能力，构建一个基于智能体编排的机器人系统。该系统通过集成记忆增强的任务规划，使机器人能够理解高级用户命令，并根据过去的交互信息进行智能决策。通过将任务分解为多个子任务，并由不同的智能体协同完成，可以有效地提高任务规划的准确性和效率。

技术框架：该系统主要包含三个智能体：路由智能体、任务规划智能体和知识库智能体。路由智能体负责将用户命令分配给合适的任务规划智能体；任务规划智能体负责生成具体的任务执行计划；知识库智能体负责存储和检索与任务相关的知识和信息。每个智能体都由特定任务的LLM驱动，并通过上下文学习的方式进行优化。此外，系统还采用了RAG（Retrieval-Augmented Generation）技术，从过去的交互中检索上下文，从而增强长期对象跟踪能力。Grounded SAM和LLaMa3.2-Vision用于对象检测和语义场景理解。

关键创新：该论文的关键创新在于将LLM驱动的智能体架构与记忆增强的任务规划相结合，从而实现了更智能、更灵活的家庭机器人系统。通过利用上下文学习和RAG技术，系统可以避免对显式模型训练的需求，并能够根据历史交互信息进行智能决策。此外，该系统还采用了Grounded SAM和LLaMa3.2-Vision等先进的视觉技术，从而提高了对象检测和语义场景理解的准确性。

关键设计：在智能体设计方面，论文针对不同任务选择了不同的LLM，例如Qwen2.5用于专用智能体，LLaMA3.1用于路由任务。RAG模块的设计考虑了如何有效地检索和利用历史交互信息，以提高任务规划的准确性和效率。Grounded SAM和LLaMa3.2-Vision的组合使用，旨在提供更鲁棒的对象检测能力，从而为任务规划提供更准确的语义场景信息。具体的参数设置和损失函数等技术细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该系统在三个家庭场景中实现了较高的任务规划准确性，并且由于RAG技术的应用，记忆召回得到了显著改善。具体来说，Qwen2.5在专用智能体方面表现最佳，而LLaMA3.1在路由任务方面表现出色。这些结果表明，该系统具有较强的实用性和应用价值。

🎯 应用场景

该研究成果可应用于家庭服务机器人、智能家居系统等领域，实现更智能化的物品管理和任务执行。例如，机器人可以根据用户的指令，自动整理房间、寻找物品、准备食物等。未来，该技术还可以扩展到其他领域，如医疗护理、仓储物流等，为人们提供更便捷、更高效的服务。

📄 摘要（原文）

We present an embodied robotic system with an LLM-driven agent-orchestration architecture for autonomous household object management. The system integrates memory-augmented task planning, enabling robots to execute high-level user commands while tracking past actions. It employs three specialized agents: a routing agent, a task planning agent, and a knowledge base agent, each powered by task-specific LLMs. By leveraging in-context learning, our system avoids the need for explicit model training. RAG enables the system to retrieve context from past interactions, enhancing long-term object tracking. A combination of Grounded SAM and LLaMa3.2-Vision provides robust object detection, facilitating semantic scene understanding for task planning. Evaluation across three household scenarios demonstrates high task planning accuracy and an improvement in memory recall due to RAG. Specifically, Qwen2.5 yields best performance for specialized agents, while LLaMA3.1 excels in routing tasks. The source code is available at: https://github.com/marc1198/chat-hsr.