KUDA: Keypoints to Unify Dynamics Learning and Visual Prompting for Open-Vocabulary Robotic Manipulation

📄 arXiv: 2503.10546v1 📥 PDF

作者: Zixian Liu, Mingtong Zhang, Yunzhu Li

分类: cs.RO, cs.AI

发布日期: 2025-03-13

备注: Project website: http://kuda-dynamics.github.io

💡 一句话要点

KUDA：融合动力学学习与视觉提示，实现开放词汇机器人操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 开放词汇 动力学学习 视觉提示 关键点 视觉语言模型 神经动力学模型

📋 核心要点

  1. 现有开放词汇机器人操作方法忽略了对象动力学，限制了其在复杂动态任务中的应用。
  2. KUDA通过关键点整合动力学学习和视觉提示，利用VLMs和神经动力学模型进行操作。
  3. 实验表明，KUDA在处理自由形式语言指令、多对象交互和可变形对象方面表现出色。

📝 摘要（中文）

随着大型语言模型(LLMs)和视觉-语言模型(VLMs)的快速发展，开放词汇机器人操作系统取得了显著进展。然而，许多现有方法忽略了对象动力学的重要性，限制了它们在更复杂、动态任务中的适用性。本文提出了KUDA，一个开放词汇操作系统，它通过关键点整合了动力学学习和视觉提示，利用了VLMs和基于学习的神经动力学模型。我们的核心思想是，基于关键点的目标规范可以同时被VLMs解释，并且可以有效地转化为基于模型的规划的代价函数。给定语言指令和视觉观察，KUDA首先将关键点分配给RGB图像，并查询VLM以生成目标规范。然后，这些基于关键点的抽象表示被转换为代价函数，这些代价函数使用学习的动力学模型进行优化，以生成机器人轨迹。我们在一系列操作任务中评估了KUDA，包括跨不同对象类别的自由形式语言指令、多对象交互以及可变形或颗粒状对象，证明了我们框架的有效性。

🔬 方法详解

问题定义：现有开放词汇机器人操作方法在处理复杂、动态的任务时存在局限性，主要原因是它们忽略了对象动力学。这些方法通常依赖于静态的视觉信息，难以应对涉及对象形变、多对象交互等需要考虑动力学因素的场景。因此，如何将动力学信息融入到开放词汇机器人操作系统中，是一个亟待解决的问题。

核心思路：KUDA的核心思路是通过关键点来桥接视觉语言模型（VLMs）和动力学模型。关键点既可以被VLMs理解，用于生成目标规范，又可以被动力学模型用于规划机器人轨迹。这种基于关键点的表示方法，使得系统能够同时利用VLMs的语义理解能力和动力学模型的预测能力，从而实现更鲁棒、更灵活的开放词汇机器人操作。

技术框架：KUDA的整体框架包含以下几个主要阶段：1) 关键点分配：给定RGB图像，系统首先将关键点分配到图像中的对象上。2) 目标规范生成：利用VLMs，根据语言指令和关键点信息，生成基于关键点的目标规范。3) 代价函数转换：将基于关键点的目标规范转换为代价函数，该代价函数描述了机器人需要达到的目标状态。4) 轨迹优化：使用学习的动力学模型，优化机器人轨迹，使得轨迹能够最小化代价函数，从而实现目标操作。

关键创新：KUDA最重要的技术创新点在于它将关键点作为连接VLMs和动力学模型的桥梁。这种方法使得系统能够同时利用VLMs的语义理解能力和动力学模型的预测能力。与现有方法相比，KUDA能够更好地处理涉及对象动力学的复杂任务，例如可变形对象的操作和多对象交互。

关键设计：KUDA的关键设计包括：1) 使用预训练的VLMs（例如CLIP）来生成目标规范。2) 使用神经动力学模型（例如MPNN）来预测对象的状态转移。3) 使用基于梯度的优化算法（例如iLQR）来优化机器人轨迹。代价函数的设计需要仔细考虑，以确保机器人能够达到期望的目标状态，同时避免碰撞和其他不期望的行为。具体的参数设置和网络结构等技术细节在论文中有详细描述，此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

KUDA在多个操作任务上进行了评估，包括跨不同对象类别的自由形式语言指令、多对象交互以及可变形或颗粒状对象的操作。实验结果表明，KUDA在这些任务上都取得了显著的性能提升，证明了其框架的有效性。具体的性能数据和对比基线在论文中有详细描述，此处未知。

🎯 应用场景

KUDA具有广泛的应用前景，例如在智能制造领域，它可以用于机器人自动化装配、质量检测等任务；在家庭服务领域，它可以用于机器人辅助家务、照顾老人等任务；在医疗领域，它可以用于机器人辅助手术、康复训练等任务。KUDA的开放词汇特性使得它可以适应各种不同的任务需求，具有很高的实际应用价值。

📄 摘要（原文）

With the rapid advancement of large language models (LLMs) and vision-language models (VLMs), significant progress has been made in developing open-vocabulary robotic manipulation systems. However, many existing approaches overlook the importance of object dynamics, limiting their applicability to more complex, dynamic tasks. In this work, we introduce KUDA, an open-vocabulary manipulation system that integrates dynamics learning and visual prompting through keypoints, leveraging both VLMs and learning-based neural dynamics models. Our key insight is that a keypoint-based target specification is simultaneously interpretable by VLMs and can be efficiently translated into cost functions for model-based planning. Given language instructions and visual observations, KUDA first assigns keypoints to the RGB image and queries the VLM to generate target specifications. These abstract keypoint-based representations are then converted into cost functions, which are optimized using a learned dynamics model to produce robotic trajectories. We evaluate KUDA on a range of manipulation tasks, including free-form language instructions across diverse object categories, multi-object interactions, and deformable or granular objects, demonstrating the effectiveness of our framework. The project page is available at http://kuda-dynamics.github.io.