Video2Skill: From Streaming Experience to Reusable Embodied Skills

📄 arXiv: 2609.36691v1 📥 PDF

作者: Jianshu Zhang, Ce Zhang, Xiyuan Yang, Chenwei Xu, Haoran Lu, Yijiang Li, Yaqi Xie, Katia P. Sycara, Han Liu

分类: cs.CL

发布日期: 2026-09-29

备注: Project page: https://andyzworks.github.io/video2skill/

💡 一句话要点

提出Video2Skill以解决技能重用与发现问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 技能发现 视频理解 机器人操作 多模态学习 智能体适应性

📋 核心要点

  1. 现有方法在技能发现与重用方面存在不足，尤其是在处理复杂操作事件时，模型难以有效组织和利用技能库。
  2. 论文提出Streaming Embodied Skill Discovery (SESD)框架，通过观察视频序列来恢复和维护技能库，以支持后续决策。
  3. 实验结果表明，尽管有监督微调和CLaRe方法的引入提高了事件分组能力，但模型在扩展技能库方面仍然存在瓶颈。

📝 摘要（中文）

操作行为在对象和场景之间差异很大，但它们共享一小部分可重用技能。通过观察经验恢复技能，构建知识库以帮助具身智能体适应新任务。本文提出Streaming Embodied Skill Discovery (SESD)问题，模型通过观看视频序列维护持久的技能库。我们引入Video2Skill基准，涵盖机器人桌面操作和人类厨房活动，测试三个核心能力：定位操作事件、事件分组和技能重用决策。实验显示，许多开源视觉语言模型在事件分组上表现接近随机水平，且模型的错误与感知和库更新的耦合有关。

🔬 方法详解

问题定义：本文旨在解决如何从视频流中恢复和组织可重用技能的问题。现有方法在技能库的扩展和有效利用方面存在显著不足，导致智能体在新任务中的适应性受限。

核心思路：论文提出通过Streaming Embodied Skill Discovery (SESD)来系统性地恢复技能。模型在观看视频时，逐步构建技能库，以便在后续任务中进行有效的技能重用和决策。

技术框架：整体架构包括三个主要模块：事件定位模块、事件分组模块和技能决策模块。模型首先识别视频中的操作事件，然后将相似事件进行分组，最后根据当前任务决定是重用现有技能还是创建新技能。

关键创新：最重要的创新在于引入了持续的技能库管理机制，使得模型能够在观看视频的过程中动态更新技能库。这与传统方法的静态技能库形成鲜明对比，显著提高了技能的重用效率。

关键设计：在模型设计中，采用了监督微调策略，并引入了反事实库状态重平衡（CLaRe）方法，以改善事件分组效果。此外，模型的损失函数设计考虑了技能的多样性和重用频率，以优化技能库的构建。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，19个开源视觉语言模型在事件分组任务中的表现接近随机水平，且模型的扩展能力受限，库中的技能数量未能超过参考值的一半。引入CLaRe方法后，虽然分组能力有所提升，但模型在识别新技能方面仍表现不足，未能有效扩展技能库。

🎯 应用场景

该研究的潜在应用领域包括机器人操作、智能家居系统和人机交互等。通过有效恢复和重用技能，智能体能够更好地适应复杂的操作环境，提高工作效率和用户体验。未来，该方法有望在自动化和智能化领域产生深远影响。

📄 摘要（原文）

Manipulation behaviors vary widely across objects and scenes, but they share a small set of reusable skills, and planning with these skills helps embodied agents generalize to new tasks. Yet an agent can only plan with skills it knows. Recovering skills from observed experience, the inverse of planning, builds this knowledge over time and yields skill data for training future agents. Vision-Language Models (VLMs) describe individual manipulation events well, but can they organize a stream of events into reusable skills? We formulate this problem as Streaming Embodied Skill Discovery (SESD): a model watches videos in sequence and maintains a persistent skill library that shapes its later decisions. To systematically measure this ability, we introduce Video2Skill, a benchmark that covers robot tabletop manipulation and human kitchen activity and tests three core capabilities: (i) locating manipulation events in time, (ii) grouping events of the same transformation, and (iii) deciding when to reuse an existing skill or create a new one. Across 19 open-source VLMs, many models group events at near-chance level, and scale does not consistently help. Their errors depend on how perception and library updates are coupled: joint models merge distinct transformations into one skill, while models that update the library from text descriptions duplicate recurring ones. Supervised fine-tuning, including our counterfactual library-state rebalancing (CLaRe), improves grouping but exposes a deeper bottleneck: trained models consolidate familiar skills yet rarely expand the library. Their libraries stall below half the reference size, and transformations unseen in training are located in time but almost never given a new skill. Recognizing when existing skills are insufficient thus emerges as the central challenge.