GTA-2: A Multi-VLM Framework for Synthesizing Robot Manipulation Skills via Grounded Task Axes
作者: M. Yunus Seker, Shobhit Aggarwal, Ruwan Wickramarachchi, Jonathan Francis, Oliver Kroemer
分类: cs.RO
发布日期: 2026-09-09
💡 一句话要点
提出GTA-2框架以合成机器人操作技能
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 机器人操作 技能合成 多模态学习 任务分解 零-shot学习 模块化框架 视觉特征提取
📋 核心要点
- 现有机器人操作方法通常需要预定义行为，导致技能过于粗糙，无法适应复杂场景。
- GTA-2框架通过模块化设计，将技能分解为语义子任务，支持零-shot技能生成，提升灵活性。
- 在14个真实任务中，GTA-2的零-shot成功率为73.9%，经过优化后提升至90.7%，显著优于基线。
📝 摘要（中文）
机器人操作任务通常被分解为行为或技能，但现有方法往往需要预定义这些行为，导致其过于粗糙，无法有效执行。本文提出了GTA-2，一个模块化的多VLM框架，通过可重用的对象中心任务轴组件构建可执行的任务特定操作技能。GTA-2将每个技能表示为由任务相关的关键点、控制器组合和场景依赖参数组成的语义子任务。该框架实现了零-shot技能生成，无需任务特定的机器人演示或策略训练，且通过明确的中间决策允许针对性的人类反馈进行修正。实验表明，GTA-2在14个真实机器人操作任务中的平均零-shot成功率达到73.9%，超越最强基线31.4个百分点，针对性优化后成功率提升至90.7%。
🔬 方法详解
问题定义：本文旨在解决机器人操作技能的预定义问题，现有方法往往无法有效应对复杂场景中的几何、控制和场景依赖决策。
核心思路：GTA-2通过将技能表示为语义子任务，结合任务相关的关键点和控制器组合，提供了一种灵活的技能生成方式，避免了传统方法的局限性。
技术框架：GTA-2的整体架构包括四个专门的VLM代理，分别负责任务分解、抽象任务轴技能构建、控制器参数分配和从RGB-D观察中提取视觉特征。
关键创新：GTA-2的主要创新在于其模块化设计和抽象到具体的分解方法，使得技能生成无需任务特定的演示或训练，且中间决策过程更加明确。
关键设计：在设计中，GTA-2采用了任务轴控制器和语义子任务的组合，确保了技能的可重用性和适应性，同时通过明确的参数设置和损失函数优化了性能。
🖼️ 关键图片
📊 实验亮点
GTA-2在14个真实机器人操作任务中的平均零-shot成功率为73.9%，相比基线提升31.4个百分点。经过针对性优化后，成功率进一步提升至90.7%，显示出其在技能生成和执行中的显著优势。
🎯 应用场景
GTA-2框架具有广泛的应用潜力，尤其在需要灵活应对多变环境的机器人操作任务中。其模块化设计使得机器人能够快速适应新任务，降低了对大量示例数据的依赖，未来可在工业自动化、服务机器人和智能家居等领域发挥重要作用。
📄 摘要（原文）
Robotic manipulation tasks are often decomposed into behaviors or skills. However, one often needs to predefine these behaviors for specific tasks or try to cover a wide range of tasks using generic skills. As a result, these behaviors can remain too coarse to expose the geometric, control, and scene-dependent decisions required for execution. We introduce Grounded Task Axes v2 (GTA-2), a modular multi-VLM framework that constructs executable, task-bespoke manipulation skills from reusable object-centric task-axis components. Rather than predicting actions end-to-end or composing fixed task-level primitives, GTA-2 represents each skill as semantic subtasks comprising task-relevant keypoints and axes, controller compositions, and scene-dependent parameters. Four specialized VLM agents separately decompose the task, construct an abstract task-axis skill, assign controller parameters, and ground the required visual features from RGB-D observations. This abstraction-to-grounding factorization enables zero-shot skill generation without task-specific robot demonstrations, policy training, or fine-tuning. It also keeps intermediate decisions explicit, allowing targeted human feedback to refine an incorrect stage while preserving correct components. We evaluate GTA-2 on 14 real-robot manipulation tasks against a VLA policy pi_{0.5} and two Code-as-Policies baselines using task-axis controllers or conventional robot primitives. GTA-2 achieves an average zero-shot success rate of 73.9%, exceeding the strongest baseline by 31.4 percentage points, while targeted refinement raises GTA-2's average success rate to 90.7%. Project page: https://gta2-project.github.io/