One-shot Human Video-Guided Adaptation for Vision-Language-Action Models
作者: Qi Chen, Yuwei Wu, Quan Chen, Kunpeng Gao, Jin Chen, Che Sun, Zhi Gao, Yunde Jia
分类: cs.RO
发布日期: 2026-10-14
💡 一句话要点
提出CapPro框架以解决VLA模型快速适应新任务的问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 机器人适应 视频指导 任务特定执行 跨任务学习
📋 核心要点
- 现有的VLA模型在适应新操作任务时依赖于特定的机器人演示和额外训练，限制了其可扩展性。
- 提出CapPro框架，通过单个人工演示视频实现VLA策略对新任务的快速适应，减少对目标任务数据的依赖。
- 实验表明，CapPro在未见目标任务上提高了平均性能，同时在源任务上保持了良好的表现。
📝 摘要（中文）
视觉-语言-动作（VLA）模型在利用大规模机器人数据集和基础模型进行通用机器人操作方面取得了显著进展。然而，它们在快速适应训练分布之外的新操作任务方面的能力仍然有限。现有方法通常需要特定任务的机器人演示和额外训练，导致劳动和计算成本高，限制了VLA适应开放世界场景的可扩展性。为减少对目标任务机器人数据的依赖，本文提出了CapPro框架，使VLA策略能够仅通过单个人工演示视频适应之前未见的操作任务。CapPro由两个组件组成：首先，通过学习的视觉标记选择构建紧凑的视频表示，并在阶段-标题监督下学习任务相关的查询表示；其次，视频条件适应模块将紧凑视频和查询派生表示共同融入预训练VLA策略的动作条件上下文中。实验结果表明，CapPro在未见目标任务组上提高了平均性能，同时在源任务上保持了可比性能。
🔬 方法详解
问题定义：本文旨在解决视觉-语言-动作（VLA）模型在面对新操作任务时适应能力不足的问题。现有方法通常需要大量的目标任务数据和训练，导致适应过程繁琐且成本高。
核心思路：CapPro框架的核心思想是利用单个人工演示视频来指导VLA策略的适应，而不是依赖于目标任务的机器人演示或额外的微调。通过这种方式，框架能够在保持原有VLA生成能力的同时，提供任务特定的执行指导。
技术框架：CapPro框架主要由两个模块组成：第一，阶段感知的人类视频表示模块，通过学习的视觉标记选择构建紧凑的视频表示，并在阶段-标题监督下学习任务相关的查询表示；第二，视频条件适应模块将紧凑视频和查询派生表示结合到预训练VLA策略的动作条件上下文中。
关键创新：CapPro的主要创新在于其通过单个视频实现了对新任务的快速适应，显著减少了对目标任务数据的依赖。这一设计与传统方法的根本区别在于不再需要大量的目标任务演示。
关键设计：在设计中，采用了阶段-标题监督的学习方式，以确保视频表示与任务相关；同时，视频条件适应模块的构建确保了紧凑视频和查询表示的有效融合，增强了VLA策略的适应能力。实验中，采用了适应性损失函数，以优化任务特定的执行效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CapPro在未见目标任务组上的平均性能提高了XX%，同时在源任务上保持了与基线相当的性能。这表明，单个视频指导的适应方法在跨任务VLA适应中具有显著效果。
🎯 应用场景
该研究的潜在应用领域包括机器人操作、智能家居和人机协作等场景。通过快速适应新任务，CapPro框架能够显著提高机器人在动态环境中的灵活性和实用性，推动智能机器人技术的普及与发展。
📄 摘要（原文）
Vision-language-action (VLA) models have recently achieved remarkable progress by leveraging large-scale robot datasets and foundation models for general-purpose robot manipulation. However, their ability to rapidly adapt to novel manipulation tasks beyond the training distribution remains limited. Existing approaches often require task-specific robot demonstrations and additional training, which are labor- and compute-intensive, limiting the scalability of VLA adaptation to open-world scenarios. To reduce this dependence on target-task robot data, we propose CapPro, a framework that enables a VLA policy to adapt to previously unseen manipulation tasks using only a single human demonstration video. CapPro consists of two components. First, a phase-aware human video representation module constructs a compact video representation through learned visual token selection and learns task-relevant query representations under phase-caption supervision. Second, a video-conditioned adaptation module jointly incorporates the compact video and query-derived representations into the action-conditioning context of the pretrained VLA policy. % This design introduces task-specific guidance while largely preserving the original VLA action-generation backbone. In this way, the human demonstration provides task-specific execution guidance rather than an embodiment-aligned trajectory to imitate, without requiring target-task robot demonstrations or target-task fine-tuning. Experiments across source and unseen target tasks show that CapPro improves average performance across unseen target groups while maintaining comparable performance on the source tasks. These results demonstrate the effectiveness of human-video guidance for cross-task VLA adaptation.