A Self-Correcting Vision-Language-Action Model for Fast and Slow System Manipulation

📄 arXiv: 2405.17418v2 📥 PDF

作者: Chenxuan Li, Jiaming Liu, Guanqun Wang, Xiaoqi Li, Sixiang Chen, Liang Heng, Chuyan Xiong, Jiaxin Ge, Renrui Zhang, Kaichen Zhou, Shanghang Zhang

分类: cs.CV

发布日期: 2024-05-27 (更新: 2025-03-19)

💡 一句话要点

提出自校正视觉-语言-动作模型，提升机器人操作的鲁棒性和准确性

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 视觉-语言-动作模型 自校正 思维链 多模态学习

📋 核心要点

  1. 现有的视觉-语言-动作模型在复杂任务中容易失败，缺乏人类的推理和反思能力。
  2. 提出自校正VLA框架，通过快速系统预测动作，慢速系统反思失败动作，模拟人类的思考过程。
  3. 实验表明，该模型在模拟和真实环境中均优于现有VLA模型，提高了操作精度和鲁棒性。

📝 摘要（中文）

本文提出了一种自校正(SC-)VLA框架，用于提升机器人操作的鲁棒性。该框架将快速系统和慢速系统集成到单个VLA策略中。快速系统通过高效的参数微调，赋予模型姿态预测能力，同时保留MLLM的推理能力。慢速系统采用思维链训练策略进行失败校正，模拟人类在操作失败后的反思。模型学习识别失败原因，自适应地寻求专家反馈，反思当前失败场景，并逐步生成纠正动作。此外，基于成功纠正的样本设计了连续策略学习方法，增强快速系统对当前配置的适应性。在模拟和真实世界的任务中，SC-VLA与之前的SOTA VLA相比，展示了高效的校正过程，并提高了在已知和未知任务上的操作精度。

🔬 方法详解

问题定义：论文旨在解决视觉-语言-动作模型（VLA）在复杂和新颖的机器人操作任务中容易失败的问题。现有的VLA模型通常缺乏像人类一样的反思和纠错机制，导致在遇到未知的错误时难以恢复。

核心思路：论文的核心思路是模仿人类的“快思考”和“慢思考”模式，构建一个包含快速系统和慢速系统的自校正VLA框架。快速系统负责快速生成动作，慢速系统负责在动作失败后进行反思和纠正，从而提高模型的鲁棒性和适应性。

技术框架：SC-VLA框架包含两个主要组成部分：快速系统和慢速系统。快速系统是一个经过参数高效微调的MLLM，用于直接预测SE(3)姿态。慢速系统则通过思维链训练策略，学习识别失败原因，寻求专家反馈，并迭代生成纠正动作。此外，还有一个连续策略学习模块，用于利用成功纠正的样本来改进快速系统。

关键创新：该论文的关键创新在于将快速系统和慢速系统集成到单个VLA策略中，并引入了思维链训练策略用于失败校正。这种方法模拟了人类在操作失败后的反思过程，使得模型能够更好地理解任务，并生成更准确的动作。

关键设计：在快速系统中，采用了参数高效微调方法，以在保留MLLM推理能力的同时，赋予模型姿态预测能力。在慢速系统中，设计了思维链训练策略，通过模仿人类的反思过程，使模型能够识别失败原因，寻求专家反馈，并迭代生成纠正动作。连续策略学习模块则利用成功纠正的样本来改进快速系统，提高其适应性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SC-VLA在模拟和真实世界的任务中均优于之前的SOTA VLA模型。具体来说，SC-VLA在已知和未知任务上的操作精度均得到了显著提高，并且能够高效地进行失败校正。这些结果验证了SC-VLA框架的有效性和优越性。

🎯 应用场景

该研究成果可应用于各种机器人操作任务，例如家庭服务机器人、工业自动化机器人和医疗机器人等。通过提高机器人的操作精度和鲁棒性，可以使其更好地完成复杂和新颖的任务，从而提高生产效率和服务质量。未来，该技术还可以扩展到其他领域，例如自动驾驶和智能助手等。

📄 摘要（原文）

Recently, some studies have integrated Multimodal Large Language Models into robotic manipulation, constructing vision-language-action models (VLAs) to interpret multimodal information and predict SE(3) poses. While VLAs have shown promising progress, they may suffer from failures when faced with novel and complex tasks. To emulate human-like reasoning for more robust manipulation, we propose the self-corrected (SC-)VLA framework, which integrates fast system for directly predicting actions and slow system for reflecting on failed actions within a single VLA policy. For the fast system, we incorporate parameter-efficient fine-tuning to equip the model with pose prediction capabilities while preserving the inherent reasoning abilities of MLLMs. For the slow system, we propose a Chain-of-Thought training strategy for failure correction, designed to mimic human reflection after a manipulation failure. Specifically, our model learns to identify the causes of action failures, adaptively seek expert feedback, reflect on the current failure scenario, and iteratively generate corrective actions, step by step. Furthermore, a continuous policy learning method is designed based on successfully corrected samples, enhancing the fast system's adaptability to the current configuration. We compare SC-VLA with the previous SOTA VLA in both simulation and real-world tasks, demonstrating an efficient correction process and improved manipulation accuracy on both seen and unseen tasks.