Dynamic Open-Vocabulary 3D Scene Graphs for Long-term Language-Guided Mobile Manipulation

📄 arXiv: 2410.11989v6 📥 PDF

作者: Zhijie Yan, Shufei Li, Zuoxu Wang, Lixiu Wu, Han Wang, Jun Zhu, Lijiang Chen, Jihong Liu

分类: cs.RO

发布日期: 2024-10-15 (更新: 2025-03-19)

备注: Accepted by IEEE Robotics and Automation Letters (RA-L), 2025

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DovSG：用于长期语言引导移动操作的动态开放词汇3D场景图

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)

关键词: 移动操作 动态场景 3D场景图 视觉-语言模型 长期任务 机器人 环境适应 开放词汇

📋 核心要点

  1. 传统移动机器人方法通常假设静态场景，这限制了它们在不断变化的现实世界中的应用，尤其是在人机交互频繁的环境中。
  2. DovSG框架通过动态更新的开放词汇3D场景图，结合视觉-语言模型进行物体识别和语义理解，实现了对动态环境的适应。
  3. 实验结果表明，DovSG在真实环境中表现出良好的长期任务执行能力，能够有效应对人工干预造成的环境变化。

📝 摘要（中文）

本文提出DovSG，一个新颖的移动操作框架，它利用动态开放词汇3D场景图和语言引导的任务规划模块，以执行长期任务。DovSG以RGB-D序列作为输入，并利用视觉-语言模型（VLMs）进行物体检测，以获得高级物体语义特征。基于分割的物体，生成结构化的3D场景图，用于表示低级空间关系。此外，一种高效的场景图局部更新机制，允许机器人在交互过程中动态调整图的部分内容，而无需完全重建场景。这种机制在动态环境中尤其有价值，使机器人能够不断适应场景变化，并有效地支持长期任务的执行。该系统在具有不同程度人工修改的真实环境中进行了验证，证明了其在长期任务中的有效性和优越性能。

🔬 方法详解

问题定义：现有移动操作方法难以适应动态变化的真实环境，特别是当环境受到人机交互或机器人自身行为的影响时。传统方法通常假设静态场景，无法处理长期任务中环境的持续变化，导致任务失败或效率低下。

核心思路：DovSG的核心思路是构建一个能够动态更新的3D场景图，并利用视觉-语言模型（VLM）来理解场景中的物体和它们之间的关系。通过局部更新机制，机器人可以在交互过程中快速调整场景图，从而适应环境的变化。这种动态更新能力使得机器人能够执行长期任务，并应对环境中的各种干扰。

技术框架：DovSG框架主要包含以下几个模块：1) RGB-D数据输入：获取场景的RGB-D图像序列。2) 视觉-语言模型（VLM）物体检测：利用VLM检测场景中的物体，并提取其语义特征。3) 3D场景图构建：基于检测到的物体及其空间关系，构建3D场景图。4) 场景图局部更新：当环境发生变化时，局部更新场景图，而无需完全重建。5) 语言引导的任务规划：根据用户的语言指令，规划机器人的行动路径和操作步骤。

关键创新：DovSG的关键创新在于其动态更新的开放词汇3D场景图。传统的场景图通常是静态的，无法适应环境的变化。DovSG通过局部更新机制，实现了场景图的动态更新，使得机器人能够更好地适应动态环境。此外，DovSG还利用视觉-语言模型进行物体检测，从而能够识别场景中的各种物体，并理解它们之间的关系。

关键设计：DovSG的关键设计包括：1) 局部更新机制：采用高效的算法，只更新场景图中发生变化的部分，从而减少计算量。2) 视觉-语言模型选择：选择合适的VLM，以保证物体检测的准确性和效率。3) 场景图表示：采用合适的场景图表示方法，以方便场景图的更新和查询。4) 任务规划算法：设计高效的任务规划算法，以保证机器人能够根据用户的语言指令，完成长期任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DovSG在真实世界的动态环境中进行了验证，实验结果表明，DovSG能够有效地适应环境变化，并成功完成长期任务。与传统的静态场景图方法相比，DovSG在任务完成率和效率方面均有显著提升。具体性能数据未知，但论文强调了其在不同程度人工修改环境下的优越性。

🎯 应用场景

DovSG技术可应用于各种需要长期操作和动态环境适应的机器人应用场景，例如家庭服务机器人、仓库物流机器人、医疗辅助机器人等。该技术能够使机器人在复杂和变化的环境中自主完成任务，提高工作效率和安全性，并为人类提供更智能化的服务。

📄 摘要（原文）

Enabling mobile robots to perform long-term tasks in dynamic real-world environments is a formidable challenge, especially when the environment changes frequently due to human-robot interactions or the robot's own actions. Traditional methods typically assume static scenes, which limits their applicability in the continuously changing real world. To overcome these limitations, we present DovSG, a novel mobile manipulation framework that leverages dynamic open-vocabulary 3D scene graphs and a language-guided task planning module for long-term task execution. DovSG takes RGB-D sequences as input and utilizes vision-language models (VLMs) for object detection to obtain high-level object semantic features. Based on the segmented objects, a structured 3D scene graph is generated for low-level spatial relationships. Furthermore, an efficient mechanism for locally updating the scene graph, allows the robot to adjust parts of the graph dynamically during interactions without the need for full scene reconstruction. This mechanism is particularly valuable in dynamic environments, enabling the robot to continually adapt to scene changes and effectively support the execution of long-term tasks. We validated our system in real-world environments with varying degrees of manual modifications, demonstrating its effectiveness and superior performance in long-term tasks. Our project page is available at: https://bjhyzj.github.io/dovsg-web.