Survey of Vision-Language-Action Models for Embodied Manipulation

📄 arXiv: 2508.15201v2 📥 PDF

作者: Haoran Li, Yuhui Chen, Wenbo Cui, Weiheng Liu, Kai Liu, Mingcai Zhou, Zhengtao Zhang, Dongbin Zhao

分类: cs.RO, cs.AI

发布日期: 2025-08-21 (更新: 2025-11-12)

备注: in Chinese language

💡 一句话要点

综述具身操作的视觉-语言-动作模型，为通用机器人控制框架提供参考。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 具身智能 机器人控制 多模态学习 具身操作

📋 核心要点

  1. 现有机器人控制方法在处理复杂环境交互时存在局限性，难以实现通用性和泛化性。
  2. VLA模型利用视觉、语言和动作信息，构建通用机器人控制框架，提升智能体与环境的交互能力。
  3. 该综述全面分析了VLA模型在具身操作中的应用，并探讨了未来发展方向和挑战。

📝 摘要（中文）

具身智能系统通过持续的环境交互增强智能体的能力，受到了学术界和工业界的广泛关注。受大型基础模型进步的启发，视觉-语言-动作（VLA）模型作为一种通用的机器人控制框架，显著提高了具身智能系统中智能体与环境的交互能力，从而拓宽了具身AI机器人的应用场景。本综述全面回顾了用于具身操作的VLA模型。首先，回顾了VLA架构的发展轨迹。随后，我们从五个关键维度对当前的研究进行了详细分析：VLA模型结构、训练数据集、预训练方法、后训练方法和模型评估。最后，我们总结了VLA开发和实际部署中的关键挑战，并概述了有前景的未来研究方向。

🔬 方法详解

问题定义：现有机器人控制方法在复杂环境下的操作能力有限，难以实现通用性和泛化性。痛点在于缺乏能够有效整合视觉、语言和动作信息，并进行推理和决策的模型。

核心思路：VLA模型的核心思路是借鉴大型语言模型（LLM）的成功经验，构建能够理解视觉场景、语言指令并生成相应动作的通用模型。通过将视觉信息、语言指令和动作空间进行对齐，实现机器人对复杂任务的理解和执行。

技术框架：VLA模型通常包含以下几个主要模块：1) 视觉编码器：用于提取环境的视觉特征；2) 语言编码器：用于理解用户的语言指令；3) 动作解码器：用于生成机器人的动作序列；4) 融合模块：用于将视觉特征和语言指令进行融合，指导动作生成。整体流程是从视觉和语言输入开始，经过编码和融合，最终解码为机器人的动作。

关键创新：VLA模型的关键创新在于将视觉、语言和动作信息整合到一个统一的框架中，实现了跨模态的推理和决策。与传统的机器人控制方法相比，VLA模型具有更强的泛化能力和适应性，能够处理更复杂的任务。

关键设计：关键设计包括：1) 视觉编码器的选择，例如使用预训练的CNN或Transformer模型；2) 语言编码器的选择，例如使用BERT或GPT等大型语言模型；3) 融合模块的设计，例如使用注意力机制或跨模态Transformer；4) 损失函数的设计，例如使用模仿学习或强化学习等方法来训练模型。

📊 实验亮点

该综述系统性地回顾了VLA模型的发展历程，并从模型结构、训练数据、预训练方法、后训练方法和模型评估等多个维度对现有研究进行了深入分析。总结了VLA模型在开发和部署中面临的挑战，并展望了未来的研究方向，为相关研究人员提供了有价值的参考。

🎯 应用场景

VLA模型在工业自动化、家庭服务、医疗辅助等领域具有广泛的应用前景。例如，在工业自动化中，VLA模型可以用于控制机器人完成复杂的装配任务；在家庭服务中，VLA模型可以用于控制机器人完成清洁、烹饪等任务；在医疗辅助中，VLA模型可以用于控制机器人完成手术辅助等任务。VLA模型有望实现更智能、更灵活的机器人应用。

📄 摘要（原文）

Embodied intelligence systems, which enhance agent capabilities through continuous environment interactions, have garnered significant attention from both academia and industry. Vision-Language-Action models, inspired by advancements in large foundation models, serve as universal robotic control frameworks that substantially improve agent-environment interaction capabilities in embodied intelligence systems. This expansion has broadened application scenarios for embodied AI robots. This survey comprehensively reviews VLA models for embodied manipulation. Firstly, it chronicles the developmental trajectory of VLA architectures. Subsequently, we conduct a detailed analysis of current research across 5 critical dimensions: VLA model structures, training datasets, pre-training methods, post-training methods, and model evaluation. Finally, we synthesize key challenges in VLA development and real-world deployment, while outlining promising future research directions.