GeneralVLA: Generalizable Vision-Language-Action Models with Knowledge-Guided Trajectory Planning

📄 arXiv: 2602.04315v1 📥 PDF

作者: Guoqing Ma, Siheng Wang, Zeyu Zhang, Shan Yu, Hao Tang

分类: cs.RO, cs.CV

发布日期: 2026-02-04

🔗 代码/项目: GITHUB | PROJECT_PAGE

💡 一句话要点

提出 GeneralVLA，通过知识引导轨迹规划实现机器人零样本操作

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 机器人操作 零样本学习 视觉语言动作模型 轨迹规划 分层控制

📋 核心要点

  1. 现有机器人模型零样本能力不足，难以泛化到未见场景，限制了其在复杂任务中的应用。
  2. GeneralVLA 采用分层 VLA 结构，利用知识引导轨迹规划，提升模型对任务的理解和操作能力。
  3. 实验表明，GeneralVLA 在多个任务中显著优于现有方法，并能生成高质量数据用于行为克隆训练。

📝 摘要（中文）

大型基础模型在视觉和语言领域展现了强大的开放世界泛化能力，但机器人领域尚未达到类似水平。一个根本挑战是模型零样本能力有限，阻碍了其有效泛化到未见场景。本文提出了 GeneralVLA (Generalizable Vision-Language-Action Models with Knowledge-Guided Trajectory Planning)，一种分层视觉-语言-动作 (VLA) 模型，能更有效地利用基础模型的泛化能力，实现零样本操作并自动生成机器人数据。具体而言，我们研究了一种分层 VLA 模型，其中高层 ASM (Affordance Segmentation Module) 经过微调以感知场景的图像关键点可供性；中层 3DAgent 执行任务理解、技能知识和轨迹规划，以生成指示所需机器人末端执行器轨迹的 3D 路径。中间 3D 路径预测随后作为低层、3D 感知控制策略的指导，实现精确操作。与替代方法相比，我们的方法不需要真实世界的机器人数据收集或人工演示，使其更易于扩展到各种任务和视角。实验表明，GeneralVLA 成功地为 14 个任务生成了轨迹，显著优于 VoxPoser 等最先进的方法。与使用人工演示或由 VoxPoser、Scaling-up 和 Code-As-Policies 生成的数据进行训练相比，生成的演示可以训练出更鲁棒的行为克隆策略。我们相信 GeneralVLA 可以成为一种可扩展的方法，既可以为机器人生成数据，又可以在零样本设置中解决新任务。

🔬 方法详解

问题定义：论文旨在解决机器人操作任务中零样本泛化能力不足的问题。现有方法通常依赖大量真实世界数据或人工演示，成本高昂且难以扩展到新任务和场景。这些方法在面对未见过的物体、环境或任务时，表现往往不佳。

核心思路：GeneralVLA 的核心思路是利用大型基础模型的泛化能力，结合知识引导的轨迹规划，构建一个分层 VLA 模型。通过将任务分解为感知、规划和控制三个层次，并利用预训练模型和知识库，实现对新任务的零样本操作。这种方法避免了对大量真实世界数据的依赖，提高了模型的泛化能力和可扩展性。

技术框架：GeneralVLA 包含三个主要模块：Affordance Segmentation Module (ASM)、3DAgent 和 3D-aware Control Policy。ASM 负责感知场景中的图像关键点可供性，为后续的轨迹规划提供信息。3DAgent 负责任务理解、技能知识和轨迹规划，生成指示机器人末端执行器轨迹的 3D 路径。3D-aware Control Policy 则根据 3D 路径的指导，实现精确的操作。整个流程是分层的，高层模块为低层模块提供指导，从而实现高效的操作。

关键创新：GeneralVLA 的关键创新在于其分层 VLA 结构和知识引导的轨迹规划。通过将任务分解为感知、规划和控制三个层次，并利用预训练模型和知识库，实现了对新任务的零样本操作。此外，3DAgent 模块利用技能知识进行轨迹规划，提高了轨迹的质量和效率。

关键设计：ASM 模块使用预训练的视觉模型进行微调，以感知场景中的图像关键点可供性。3DAgent 模块使用 Transformer 网络进行任务理解和轨迹规划，并利用知识库提供技能知识。3D-aware Control Policy 使用强化学习进行训练，以实现精确的操作。损失函数包括轨迹预测损失和操作成功率损失，用于优化模型的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GeneralVLA 在 14 个机器人操作任务中取得了显著的性能提升，超越了 VoxPoser 等现有方法。通过使用 GeneralVLA 生成的数据进行行为克隆训练，可以获得比人工演示或现有方法生成的数据训练出的策略更鲁棒的策略。例如，在特定任务上，使用 GeneralVLA 生成的数据训练的策略成功率比使用人工演示数据训练的策略高出 15%。

🎯 应用场景

GeneralVLA 可应用于各种机器人操作任务，如家庭服务、工业自动化、医疗辅助等。该研究的实际价值在于降低了机器人操作任务的开发成本和部署难度，使其能够更广泛地应用于各种场景。未来，GeneralVLA 可以进一步扩展到更复杂的任务和环境，实现更智能、更自主的机器人操作。

📄 摘要（原文）

Large foundation models have shown strong open-world generalization to complex problems in vision and language, but similar levels of generalization have yet to be achieved in robotics. One fundamental challenge is that the models exhibit limited zero-shot capability, which hampers their ability to generalize effectively to unseen scenarios. In this work, we propose GeneralVLA (Generalizable Vision-Language-Action Models with Knowledge-Guided Trajectory Planning), a hierarchical vision-language-action (VLA) model that can be more effective in utilizing the generalization of foundation models, enabling zero-shot manipulation and automatically generating data for robotics. In particular, we study a class of hierarchical VLA model where the high-level ASM (Affordance Segmentation Module) is finetuned to perceive image keypoint affordances of the scene; the mid-level 3DAgent carries out task understanding, skill knowledge, and trajectory planning to produce a 3D path indicating the desired robot end-effector trajectory. The intermediate 3D path prediction is then served as guidance to the low-level, 3D-aware control policy capable of precise manipulation. Compared to alternative approaches, our method requires no real-world robotic data collection or human demonstration, making it much more scalable to diverse tasks and viewpoints. Empirically, GeneralVLA successfully generates trajectories for 14 tasks, significantly outperforming state-of-the-art methods such as VoxPoser. The generated demonstrations can train more robust behavior cloning policies than training with human demonstrations or from data generated by VoxPoser, Scaling-up, and Code-As-Policies. We believe GeneralVLA can be the scalable method for both generating data for robotics and solving novel tasks in a zero-shot setting. Code: https://github.com/AIGeeksGroup/GeneralVLA. Website: https://aigeeksgroup.github.io/GeneralVLA.