VLA-OS: Structuring and Dissecting Planning Representations and Paradigms in Vision-Language-Action Models

📄 arXiv: 2506.17561v1 📥 PDF

作者: Chongkai Gao, Zixuan Liu, Zhenghao Chi, Junshan Huang, Xin Fei, Yiwen Hou, Yuxuan Zhang, Yudi Lin, Zhirui Fang, Zeyu Jiang, Lin Shao

分类: cs.CV, cs.AI, cs.RO

发布日期: 2025-06-21

💡 一句话要点

VLA-OS：统一视觉-语言-动作模型架构，系统分析规划范式与表示的影响

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-动作模型 任务规划 规划范式 规划表示 机器人操作

📋 核心要点

  1. 现有VLA模型在架构、规划方式和数据来源上差异大，难以确定性能提升的关键因素。
  2. 论文提出VLA-OS，一个统一的VLA架构，支持多种规划范式，隔离架构和数据的影响。
  3. 实验表明，视觉引导的规划表示优于语言规划，分层VLA在多方面表现出色，但速度较慢。

📝 摘要（中文）

本文针对视觉-语言-动作（VLA）模型中任务规划环节的多种范式和表示方法进行了系统性研究。现有VLA模型在网络架构、规划范式、表示方法和训练数据来源上差异显著，难以确定性能提升的根本原因和可改进的组件。为了在隔离网络架构和训练数据影响的前提下，系统地研究不同规划范式和表示方法的影响，本文提出了VLA-OS，一个统一的VLA架构系列，能够支持多种任务规划范式。通过在不同对象类别（刚性和可变形）、视觉模态（2D和3D）、环境（模拟和真实世界）以及末端执行器（夹爪和灵巧手）上进行的一系列受控实验，结果表明：1）视觉引导的规划表示通常优于语言规划表示；2）分层VLA范式在任务性能、预训练、泛化能力、可扩展性和持续学习能力方面通常优于或可与其他范式相媲美，但训练和推理速度较慢。

🔬 方法详解

问题定义：现有视觉-语言-动作（VLA）模型在任务规划阶段存在多种不同的范式和表示方法，这些方法在网络架构、训练数据等方面也存在差异。这使得研究人员难以确定哪些因素对性能提升起关键作用，以及哪些组件需要进一步改进。因此，需要一种方法来系统地比较和分析不同的规划范式和表示方法，同时控制其他变量的影响。

核心思路：论文的核心思路是构建一个统一的VLA架构（VLA-OS），该架构能够支持多种不同的任务规划范式。通过在相同的网络架构和训练数据下，比较不同规划范式和表示方法的性能，从而能够更清晰地了解它们各自的优缺点。这种方法能够有效地隔离网络架构和训练数据的影响，从而更准确地评估规划范式和表示方法的作用。

技术框架：VLA-OS架构系列包含多个模块，但核心在于其对不同规划范式的支持。它可以支持例如直接生成动作序列、先生成语言规划再执行、以及分层规划等多种范式。整体流程通常包括：1）视觉和语言信息的编码；2）基于编码信息的任务规划；3）根据规划生成动作序列。不同的规划范式主要体现在任务规划模块的设计上。

关键创新：该论文的关键创新在于提出了一个统一的VLA架构系列（VLA-OS），能够支持多种不同的任务规划范式。这使得研究人员能够在相同的网络架构和训练数据下，比较不同规划范式和表示方法的性能，从而更清晰地了解它们各自的优缺点。此外，论文还通过大量的实验，系统地评估了不同规划范式和表示方法在不同场景下的性能。

关键设计：VLA-OS的具体网络结构细节未在摘要中详细说明，但可以推断其关键设计在于规划模块的灵活性和可配置性，以支持不同的规划范式。损失函数的设计可能包括动作预测损失、规划表示的对齐损失等。具体的参数设置和网络结构细节需要在论文正文中查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，视觉引导的规划表示通常优于语言规划表示。分层VLA范式在任务性能、预训练、泛化能力、可扩展性和持续学习能力方面通常优于或可与其他范式相媲美，尽管训练和推理速度较慢。这些结果为VLA模型的设计和选择提供了重要的指导。

🎯 应用场景

该研究成果可应用于机器人操作、自动化装配、智能家居等领域。通过选择合适的规划范式和表示方法，可以提高机器人在复杂任务中的性能和泛化能力。未来的研究可以进一步探索更有效的规划表示方法和更高效的规划算法，从而实现更智能、更灵活的机器人系统。

📄 摘要（原文）

Recent studies on Vision-Language-Action (VLA) models have shifted from the end-to-end action-generation paradigm toward a pipeline involving task planning followed by action generation, demonstrating improved performance on various complex, long-horizon manipulation tasks. However, existing approaches vary significantly in terms of network architectures, planning paradigms, representations, and training data sources, making it challenging for researchers to identify the precise sources of performance gains and components to be further improved. To systematically investigate the impacts of different planning paradigms and representations isolating from network architectures and training data, in this paper, we introduce VLA-OS, a unified VLA architecture series capable of various task planning paradigms, and design a comprehensive suite of controlled experiments across diverse object categories (rigid and deformable), visual modalities (2D and 3D), environments (simulation and real-world), and end-effectors (grippers and dexterous hands). Our results demonstrate that: 1) visually grounded planning representations are generally better than language planning representations; 2) the Hierarchical-VLA paradigm generally achieves superior or comparable performance than other paradigms on task performance, pretraining, generalization ability, scalability, and continual learning ability, albeit at the cost of slower training and inference speeds.