Open-vocabulary Mobile Manipulation in Unseen Dynamic Environments with 3D Semantic Maps
作者: Dicong Qiu, Wenzong Ma, Zhenfu Pan, Hui Xiong, Junwei Liang
分类: cs.RO, cs.AI, cs.CV
发布日期: 2024-06-26
备注: Open-vocabulary, Mobile Manipulation, Dynamic Environments, 3D Semantic Maps, Zero-shot, LLMs, VLMs, 18 pages, 2 figures
💡 一句话要点
提出一种基于3D语义地图的开放词汇移动操作框架，用于解决未知动态环境下的操作任务。
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 开放词汇移动操作 3D语义地图 视觉-语言模型 大型语言模型 机器人导航 动态环境 零样本学习
📋 核心要点
- 现有移动操作方法难以有效处理未知和动态环境下的开放词汇操作任务，缺乏对环境的语义理解和动态适应能力。
- 该论文提出利用预训练视觉-语言模型和大型语言模型，结合3D语义地图构建，实现对环境的语义理解和在线规划能力。
- 实验结果表明，该框架在真实机器人平台上实现了较高的导航和任务成功率，并能有效应对动态环境下的任务失败情况。
📝 摘要（中文）
本文提出了一种新的框架，用于解决开放词汇移动操作（OVMM）这一关键问题，尤其是在未知和动态环境的挑战下。该框架利用预训练视觉-语言模型（VLMs）的零样本检测和基础识别能力，结合密集的3D实体重建来构建3D语义地图。此外，我们利用大型语言模型（LLMs）进行空间区域抽象和在线规划，整合人类指令和空间语义上下文。我们构建了一个10自由度的移动操作机器人平台JSR-1，并在真实机器人实验中证明，我们提出的框架可以有效地捕获空间语义，并处理自然语言用户指令，以实现动态环境下的零样本OVMM任务。在105次实验中，导航和任务的总体成功率分别为80.95%和73.33%，SFT和SPL分别比基线提高了157.18%和19.53%。此外，当初始计划失败时，该框架能够基于3D语义地图中提取的空间语义上下文重新规划到下一个最可能的候选位置，保持平均76.67%的成功率。
🔬 方法详解
问题定义：论文旨在解决开放词汇移动操作（OVMM）在未知和动态环境中的挑战。现有方法通常难以有效地理解环境语义，无法灵活地处理自然语言指令，并且在动态变化的环境中缺乏鲁棒性。这些痛点限制了机器人在真实世界场景中的应用。
核心思路：论文的核心思路是结合预训练的视觉-语言模型（VLMs）和大型语言模型（LLMs），利用VLMs进行零样本检测和基础识别，构建3D语义地图，并使用LLMs进行空间区域抽象和在线规划。这种结合使得机器人能够理解环境语义、处理自然语言指令，并根据环境变化进行动态调整。
技术框架：整体框架包含以下几个主要模块：1) 3D语义地图构建：利用VLMs进行零样本物体检测和识别，并结合深度信息构建密集的3D语义地图。2) 空间区域抽象：使用LLMs对3D语义地图中的空间区域进行抽象，提取关键的空间语义信息。3) 在线规划：利用LLMs结合人类指令和空间语义上下文进行在线规划，生成可执行的机器人动作序列。4) 动态环境适应：当初始计划失败时，基于3D语义地图中的空间语义上下文重新规划到下一个最可能的候选位置。
关键创新：该论文最重要的技术创新点在于将预训练的VLMs和LLMs有效地结合起来，用于构建3D语义地图和进行在线规划，从而实现了在未知和动态环境中进行开放词汇移动操作的能力。与现有方法相比，该方法无需针对特定任务进行训练，具有更强的泛化能力和适应性。
关键设计：论文的关键设计包括：1) 使用CLIP等VLM模型进行零样本物体检测和识别。2) 利用LLMs（例如GPT-3）进行空间区域抽象和在线规划，通过prompt engineering来引导LLM生成合理的规划方案。3) 设计了基于3D语义地图的重规划机制，当初始计划失败时，能够根据空间语义上下文选择下一个最可能的候选位置。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在真实机器人平台上实现了80.95%的导航成功率和73.33%的任务成功率。与基线方法相比，SFT（Success weighted by Task completion Time）和SPL（Success weighted by Path Length）分别提高了157.18%和19.53%。此外，该框架在初始计划失败时，能够保持平均76.67%的重规划成功率，验证了其在动态环境下的鲁棒性。
🎯 应用场景
该研究成果可应用于各种需要机器人进行自主操作的场景，例如家庭服务机器人、仓储物流机器人、以及灾难救援机器人等。通过理解自然语言指令和环境语义，机器人能够更安全、高效地完成复杂任务，提升人机协作效率，具有广阔的应用前景。
📄 摘要（原文）
Open-Vocabulary Mobile Manipulation (OVMM) is a crucial capability for autonomous robots, especially when faced with the challenges posed by unknown and dynamic environments. This task requires robots to explore and build a semantic understanding of their surroundings, generate feasible plans to achieve manipulation goals, adapt to environmental changes, and comprehend natural language instructions from humans. To address these challenges, we propose a novel framework that leverages the zero-shot detection and grounded recognition capabilities of pretraining visual-language models (VLMs) combined with dense 3D entity reconstruction to build 3D semantic maps. Additionally, we utilize large language models (LLMs) for spatial region abstraction and online planning, incorporating human instructions and spatial semantic context. We have built a 10-DoF mobile manipulation robotic platform JSR-1 and demonstrated in real-world robot experiments that our proposed framework can effectively capture spatial semantics and process natural language user instructions for zero-shot OVMM tasks under dynamic environment settings, with an overall navigation and task success rate of 80.95% and 73.33% over 105 episodes, and better SFT and SPL by 157.18% and 19.53% respectively compared to the baseline. Furthermore, the framework is capable of replanning towards the next most probable candidate location based on the spatial semantic context derived from the 3D semantic map when initial plans fail, keeping an average success rate of 76.67%.