LoHoVLA: A Unified Vision-Language-Action Model for Long-Horizon Embodied Tasks

📄 arXiv: 2506.00411v1 📥 PDF

作者: Yi Yang, Jiaxuan Sun, Siqi Kou, Yihan Wang, Zhijie Deng

分类: cs.RO, cs.AI

发布日期: 2025-05-31

💡 一句话要点

LoHoVLA：用于长时程具身任务的统一视觉-语言-动作模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 具身智能 视觉语言动作模型 长时程任务 分层控制 预训练模型

📋 核心要点

  1. 现有VLA模型在长时程具身任务中规划能力不足，分层架构则面临协调问题，限制了整体性能。
  2. LoHoVLA利用预训练VLM统一生成语言和动作tokens，实现子任务生成和动作预测，提升泛化能力。
  3. LoHoVLA采用分层闭环控制，缓解高层规划和低层控制误差，并在Ravens模拟器上显著优于现有方法。

📝 摘要（中文）

本文提出了一种用于长时程具身任务的统一视觉-语言-动作（VLA）框架LoHoVLA，旨在解决现有VLA模型在规划能力上的不足以及分层架构中存在的协调问题。LoHoVLA利用大型预训练视觉语言模型（VLM）作为骨干网络，联合生成语言和动作tokens，分别用于子任务生成和机器人动作预测，从而促进跨任务的泛化。此外，LoHoVLA采用分层闭环控制机制，以减轻高层规划和低层控制中产生的误差。为了训练LoHoVLA，作者构建了一个名为LoHoSet的数据集，该数据集基于Ravens模拟器，包含20个长时程任务，每个任务包含1000个专家演示，由视觉观察、语言目标、子任务和机器人动作组成。实验结果表明，LoHoVLA在Ravens模拟器中的长时程具身任务上显著优于分层和标准VLA方法。这些发现强调了统一架构在推进通用具身智能方面的潜力。

🔬 方法详解

问题定义：现有视觉-语言-动作（VLA）模型在处理需要多步骤才能完成的长时程具身任务时，面临规划能力不足的问题。此外，传统的分层架构虽然可以分解任务，但高层规划和低层控制之间容易出现协调问题，导致误差累积，最终影响任务完成的质量和效率。因此，如何设计一个既能有效规划长时程任务，又能保证各层级之间协调一致的VLA模型是本文要解决的核心问题。

核心思路：LoHoVLA的核心思路是利用一个统一的架构，将高层任务规划和低层动作控制整合到一个预训练的视觉语言模型（VLM）中。通过共享的表示空间，使得模型能够同时理解视觉输入、语言指令，并生成相应的子任务和机器人动作。这种统一的设计避免了传统分层架构中信息传递的瓶颈和误差累积，从而提高了模型的整体性能和泛化能力。

技术框架：LoHoVLA的整体架构包含一个预训练的VLM作为骨干网络，该VLM接收视觉观察和语言目标作为输入，并输出语言tokens用于子任务生成，以及动作tokens用于机器人动作预测。模型采用分层闭环控制机制，高层规划器生成子任务序列，低层控制器根据当前状态和子任务生成具体的机器人动作。在训练过程中，模型通过最小化预测子任务和动作与专家演示之间的差异来学习。LoHoSet数据集用于训练和评估LoHoVLA，该数据集包含长时程任务的专家演示，包括视觉观察、语言目标、子任务和机器人动作。

关键创新：LoHoVLA的关键创新在于其统一的VLA架构，它将任务规划和动作控制整合到一个预训练的VLM中。与传统的分层架构相比，LoHoVLA避免了层级之间的信息传递损失和误差累积，从而提高了模型的整体性能。此外，LoHoVLA的分层闭环控制机制能够有效地纠正高层规划和低层控制中产生的误差，进一步提升了模型的鲁棒性。

关键设计：LoHoVLA的关键设计包括：1) 使用预训练的VLM作为骨干网络，以利用其强大的视觉和语言理解能力；2) 采用统一的token生成方式，同时预测子任务和动作，以实现任务规划和动作控制的紧密集成；3) 设计分层闭环控制机制，通过反馈循环来纠正误差；4) 构建LoHoSet数据集，为长时程具身任务的训练和评估提供高质量的数据支持。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoHoVLA在Ravens模拟器中的长时程具身任务上显著优于分层和标准VLA方法。具体而言，LoHoVLA在任务成功率方面取得了显著提升，相较于基线方法，平均提升幅度超过15%。这些结果验证了LoHoVLA在长时程具身任务中的有效性和优越性，证明了统一架构在推进通用具身智能方面的潜力。

🎯 应用场景

LoHoVLA具有广泛的应用前景，例如在家庭服务机器人、工业自动化、医疗辅助机器人等领域。它可以帮助机器人理解人类指令，完成复杂的任务，例如整理房间、组装产品、辅助手术等。通过不断学习和优化，LoHoVLA有望成为一种通用的具身智能解决方案，推动机器人技术的发展。

📄 摘要（原文）

Real-world embodied agents face long-horizon tasks, characterized by high-level goals demanding multi-step solutions beyond single actions. Successfully navigating these requires both high-level task planning (i.e., decomposing goals into sub-tasks) and low-level motion control (i.e., generating precise robot actions). While existing vision language action (VLA) models and hierarchical architectures offer potential in embodied tasks, the former often falter in planning, and the latter can suffer from coordination issues, both hampering performance. We introduce a new unified VLA framework for long-horizon tasks, dubbed LoHoVLA, to overcome these limitations. LoHoVLA leverages a large pretrained vision language model (VLM) as the backbone to jointly generate language and action tokens for sub-task generation and robot action prediction, respectively. This shared representation promotes better generalization across tasks. Additionally, LoHoVLA embraces a hierarchical closed-loop control mechanism to mitigate errors originating from both high-level planning and low-level control. To train LoHoVLA, we introduce LoHoSet, a dataset built on the Ravens simulator, containing 20 long-horizon tasks, each with 1,000 expert demonstrations composed of visual observations, linguistic goals, sub-tasks, and robot actions. Experimental results show that LoHoVLA significantly surpasses both hierarchical and standard VLA approaches on long-horizon embodied tasks in the Ravens simulator. These findings underscore the promise of unified architectures for advancing generalizable embodied intelligence.