MaP-AVR: A Meta-Action Planner for Agents Leveraging Vision Language Models and Retrieval-Augmented Generation

📄 arXiv: 2512.19453v1 📥 PDF

作者: Zhenglong Guo, Yiming Zhao, Feng Jiang, Heng Jin, Zongbao Feng, Jianbin Zhou, Siyuan Xu

分类: cs.RO

发布日期: 2025-12-22

备注: 8 pages, 10 figures, This work was completed in December 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MaP-AVR，利用VLM和RAG的机器人元动作规划器

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人 任务规划 元动作 视觉语言模型 检索增强生成

📋 核心要点

  1. 现有机器人任务规划方法侧重于增强LLM/VLM的任务理解能力，忽略了规划技能集定义的重要性。
  2. 论文提出将规划结果抽象为一组元动作，包含移动/旋转、末端执行器状态改变和与环境的关系三个组成部分。
  3. 实验结果表明，使用GPT-4o和OmniGibson平台，该方法与当前最先进的方法相比具有良好的性能。

📝 摘要（中文）

本文提出了一种名为MaP-AVR的机器人AI系统，用于管理复杂的日常任务。该系统侧重于任务规划器，以理解和分解高层次任务。与以往研究侧重于通过微调或思维链提示来增强LLM/VLM的任务理解能力不同，本文强调定义规划的技能集同样重要。为了应对日常环境的复杂性，技能集应具有高度的泛化能力。因此，论文将规划结果抽象为一组元动作，每个元动作包含三个组成部分：{移动/旋转，末端执行器状态改变，与环境的关系}。这种抽象用机器人固有的功能取代了以人为中心的动作概念。此外，为了确保LLM/VLM准确生成所需的元动作格式，采用了检索增强生成（RAG）技术，利用人工标注的规划演示数据库来促进上下文学习。随着系统成功完成更多任务，数据库将自我增强以持续支持多样性。使用GPT-4o作为预训练的LLM/VLM模型，并在OmniGibson平台上进行了实验，结果表明该方法与当前最先进的方法相比具有良好的性能。

🔬 方法详解

问题定义：现有具身机器人AI系统在处理复杂日常任务时，依赖任务规划器来理解和分解高层次任务。然而，现有方法主要关注于通过微调或思维链提示来提升LLM/VLM的任务理解能力，而忽略了规划技能集定义的重要性。尤其是在复杂环境中，如何设计具有良好泛化能力的技能集是一个挑战。

核心思路：论文的核心思路是将规划结果抽象为一组元动作。每个元动作不再是人类视角的具体动作（如抓取、推动），而是机器人自身可以执行的基本操作的组合，包括移动/旋转、末端执行器状态改变以及与环境的关系。这种抽象方式旨在提高技能集的泛化能力，使其能够适应更广泛的任务和环境。

技术框架：MaP-AVR系统的整体框架包含以下几个主要模块：1) 任务理解模块：利用VLM理解高层次任务目标。2) 元动作规划模块：基于VLM和RAG，将任务目标分解为一系列元动作。RAG模块通过检索人工标注的规划演示来指导VLM生成符合规范的元动作序列。3) 动作执行模块：将元动作转化为机器人可执行的底层控制指令，并在环境中执行。4) 数据库自增强模块：随着系统成功完成更多任务，将新的规划演示添加到RAG的数据库中，以持续提升系统的性能。

关键创新：MaP-AVR的关键创新在于两个方面：一是提出了元动作的概念，将规划结果抽象为机器人固有的功能，提高了技能集的泛化能力；二是引入了RAG技术，利用人工标注的规划演示来指导VLM生成符合规范的元动作序列，并实现了数据库的自增强。

关键设计：RAG模块的关键设计在于如何构建和维护规划演示数据库。数据库中的每个条目包含任务描述、环境状态和对应的元动作序列。在进行元动作规划时，RAG模块会根据当前任务描述和环境状态，从数据库中检索最相关的演示，并将其作为上下文信息输入到VLM中，引导VLM生成类似的元动作序列。数据库的自增强机制通过添加新的成功案例来不断提升RAG模块的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文使用GPT-4o作为预训练的LLM/VLM模型，并在OmniGibson平台上进行了实验。实验结果表明，MaP-AVR方法在任务完成率和规划效率方面均优于当前最先进的方法。具体的性能提升数据在论文中进行了详细的展示和分析，证明了该方法的有效性和优越性。

🎯 应用场景

该研究成果可应用于各种需要机器人自主完成复杂任务的场景，例如家庭服务机器人、工业自动化、医疗辅助机器人等。通过将高层次任务分解为一系列可执行的元动作，机器人能够更好地理解和执行任务，提高工作效率和安全性。未来，该方法有望进一步扩展到更复杂的环境和任务中，实现更高级别的机器人自主性。

📄 摘要（原文）

Embodied robotic AI systems designed to manage complex daily tasks rely on a task planner to understand and decompose high-level tasks. While most research focuses on enhancing the task-understanding abilities of LLMs/VLMs through fine-tuning or chain-of-thought prompting, this paper argues that defining the planned skill set is equally crucial. To handle the complexity of daily environments, the skill set should possess a high degree of generalization ability. Empirically, more abstract expressions tend to be more generalizable. Therefore, we propose to abstract the planned result as a set of meta-actions. Each meta-action comprises three components: {move/rotate, end-effector status change, relationship with the environment}. This abstraction replaces human-centric concepts, such as grasping or pushing, with the robot's intrinsic functionalities. As a result, the planned outcomes align seamlessly with the complete range of actions that the robot is capable of performing. Furthermore, to ensure that the LLM/VLM accurately produces the desired meta-action format, we employ the Retrieval-Augmented Generation (RAG) technique, which leverages a database of human-annotated planning demonstrations to facilitate in-context learning. As the system successfully completes more tasks, the database will self-augment to continue supporting diversity. The meta-action set and its integration with RAG are two novel contributions of our planner, denoted as MaP-AVR, the meta-action planner for agents composed of VLM and RAG. To validate its efficacy, we design experiments using GPT-4o as the pre-trained LLM/VLM model and OmniGibson as our robotic platform. Our approach demonstrates promising performance compared to the current state-of-the-art method. Project page: https://map-avr.github.io/.