Closed-Loop Visuomotor Control with Generative Expectation for Robotic Manipulation

📄 arXiv: 2409.09016v3 📥 PDF

作者: Qingwen Bu, Jia Zeng, Li Chen, Yanchao Yang, Guyue Zhou, Junchi Yan, Ping Luo, Heming Cui, Yi Ma, Hongyang Li

分类: cs.RO

发布日期: 2024-09-13 (更新: 2024-10-16)

备注: Accepted at NeurIPS 2024. Code and models: https://github.com/OpenDriveLab/CLOVER

🔗 代码/项目: GITHUB

💡 一句话要点

CLOVER：基于生成期望的闭环视觉运动控制，提升机器人操作性能

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 闭环控制 视觉运动控制 机器人操作 视频扩散模型 具身智能

📋 核心要点

  1. 现有机器人操作方法多为开环控制，缺乏实时反馈，导致长时程任务中误差累积和鲁棒性差。
  2. CLOVER框架利用文本条件视频扩散模型生成视觉计划，并设计可测量的嵌入空间进行误差量化，实现闭环控制。
  3. 实验表明，CLOVER在真实机器人任务中表现出色，在CALVIN基准测试中超越现有开环方法8%。

📝 摘要（中文）

近年来，机器人和具身智能取得了显著进展，但部署机器人执行长时程任务仍然面临巨大挑战。现有方法大多采用开环模式，缺乏实时反馈，导致误差累积和鲁棒性不足。一些方法尝试利用像素级差异或预训练视觉表征建立反馈机制，但其有效性和适应性受到限制。受经典闭环控制系统启发，我们提出了CLOVER，一个闭环视觉运动控制框架，通过引入反馈机制来改进自适应机器人控制。CLOVER包含一个文本条件视频扩散模型，用于生成视觉计划作为参考输入；一个可测量的嵌入空间，用于精确的误差量化；以及一个反馈驱动的控制器，用于根据反馈细化动作并在需要时启动重新规划。我们的框架在真实机器人任务中表现出显著的进步，并在CALVIN基准测试中取得了最先进的结果，比之前的开环方法提高了8%。代码和检查点可在https://github.com/OpenDriveLab/CLOVER 找到。

🔬 方法详解

问题定义：现有机器人操作方法，特别是针对长时程任务，主要采用开环控制策略。这种策略缺乏实时的反馈机制，导致在任务执行过程中，由于环境变化、执行误差等因素，误差会不断累积，最终导致任务失败。此外，一些尝试引入反馈的方法依赖于像素级别的差异或者预训练的视觉表征，这些方法在实际应用中表现出适应性不足的问题。因此，如何设计一个有效的闭环控制系统，使其能够根据环境反馈实时调整动作，是本文要解决的核心问题。

核心思路：本文的核心思路是借鉴经典控制理论中的闭环控制思想，构建一个基于视觉反馈的机器人控制框架。该框架通过生成视觉计划作为参考输入，并利用可测量的嵌入空间进行误差量化，从而实现对机器人动作的实时调整和优化。这种设计能够有效地减少误差累积，提高机器人的鲁棒性和适应性。

技术框架：CLOVER框架主要包含三个核心模块：1) 文本条件视频扩散模型：用于生成视觉计划，作为机器人执行任务的参考。该模型以文本指令为输入，生成一系列的图像序列，描述了机器人完成任务的预期过程。2) 可测量的嵌入空间：用于量化机器人实际执行过程与视觉计划之间的误差。该嵌入空间能够将图像信息映射到一个低维空间，使得误差的计算更加高效和准确。3) 反馈驱动的控制器：根据误差信号调整机器人的动作，并在必要时重新规划任务。该控制器根据嵌入空间中计算得到的误差，对机器人的动作进行微调，使其能够更好地跟踪视觉计划。如果误差超过一定阈值，则触发重新规划机制，重新生成视觉计划。

关键创新：CLOVER框架的关键创新在于将文本条件视频扩散模型、可测量的嵌入空间和反馈驱动的控制器有机地结合在一起，构建了一个完整的闭环控制系统。与传统的开环控制方法相比，CLOVER能够根据环境反馈实时调整机器人的动作，从而有效地减少误差累积，提高机器人的鲁棒性和适应性。此外，CLOVER框架还能够利用文本指令来指导机器人的动作，使得人机交互更加自然和高效。

关键设计：在文本条件视频扩散模型方面，采用了先进的扩散模型架构，并针对机器人操作任务进行了优化。在可测量的嵌入空间方面，设计了一种新的损失函数，使得嵌入空间能够更好地反映机器人动作的语义信息。在反馈驱动的控制器方面，采用了一种基于PID控制的策略，并根据机器人动力学特性进行了调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CLOVER在CALVIN基准测试中取得了显著的性能提升，超越了之前的最先进的开环方法8%。这一结果表明，CLOVER框架能够有效地利用视觉反馈来提高机器人的操作性能。此外，CLOVER在真实机器人任务中也表现出良好的鲁棒性和适应性，能够应对各种复杂的环境变化和执行误差。

🎯 应用场景

CLOVER框架具有广泛的应用前景，可应用于各种需要高精度和鲁棒性的机器人操作任务中，例如：工业自动化、医疗手术、家庭服务等。该框架能够显著提高机器人的操作性能，降低人工干预的需求，从而提高生产效率和服务质量。未来，CLOVER有望成为机器人和具身智能领域的重要技术支撑。

📄 摘要（原文）

Despite significant progress in robotics and embodied AI in recent years, deploying robots for long-horizon tasks remains a great challenge. Majority of prior arts adhere to an open-loop philosophy and lack real-time feedback, leading to error accumulation and undesirable robustness. A handful of approaches have endeavored to establish feedback mechanisms leveraging pixel-level differences or pre-trained visual representations, yet their efficacy and adaptability have been found to be constrained. Inspired by classic closed-loop control systems, we propose CLOVER, a closed-loop visuomotor control framework that incorporates feedback mechanisms to improve adaptive robotic control. CLOVER consists of a text-conditioned video diffusion model for generating visual plans as reference inputs, a measurable embedding space for accurate error quantification, and a feedback-driven controller that refines actions from feedback and initiates replans as needed. Our framework exhibits notable advancement in real-world robotic tasks and achieves state-of-the-art on CALVIN benchmark, improving by 8% over previous open-loop counterparts. Code and checkpoints are maintained at https://github.com/OpenDriveLab/CLOVER.