Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction

📄 arXiv: 2610.12984v1 📥 PDF

作者: Yuqi Huang, Hui Li, Yifei Cao, Zikun Cai, Tianci Xie, Yangfan Gao, Pinxue Guo, Chaoyun Zhang, Bingxuan Li, Rui Zheng, Hang Yan, Ning Liao

分类: cs.AI, cs.HC

发布日期: 2026-10-09

🔗 代码/项目: GITHUB

💡 一句话要点

提出Work2Skill框架以解决人机交互技能重用问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人机交互 技能诱导 多模态数据 桌面应用 自动化

📋 核心要点

  1. 现有方法在处理复杂GUI任务时，缺乏有效的技能重用机制，尤其是在面对不熟悉的软件和工作流程时。
  2. 论文提出的Work2Skill框架通过捕捉人类的GUI交互经验，利用WorkRecorder收集多模态数据，实现可重用的代理技能诱导。
  3. 实验结果显示，Work2Skill在MyPCBench和OSWorld-Verified数据集上，相较于无技能基线，得分提升显著，成功率更高。

📝 摘要（中文）

计算机使用代理能够执行越来越复杂的GUI任务，但对不熟悉的软件和工作流程的处理仍然具有挑战性。人类演示通过相同的GUI交互空间传达过程知识，但重用这些知识需要在上下文中解释行为，并将工作流程规则与任务特定细节分离。因此，我们提出了Work2Skill框架，用于捕捉人类GUI经验以进行可重用的代理技能诱导。通过WorkRecorder，我们构建了WorkDemo-350，这是第一个用于可重用代理技能诱导和下游评估的人类桌面GUI演示的同步多模态数据集。实验结果表明，Work2Skill在多个执行模型中实现了最高的得分和成功率。

🔬 方法详解

问题定义：本论文旨在解决在复杂GUI任务中，如何有效捕捉和重用人类的操作技能。现有方法在面对不熟悉的软件和工作流程时，往往无法有效提取和重用人类的知识，导致技能的重复学习和效率低下。

核心思路：论文提出的Work2Skill框架通过WorkRecorder收集人类的GUI交互数据，包括屏幕录制、鼠标和键盘事件等，进而提取可重用的技能。这种设计使得代理能够在不同的任务中灵活应用已学技能。

技术框架：Work2Skill框架主要包括数据收集模块（WorkRecorder）、数据处理模块（构建WorkDemo-350数据集）和技能诱导模块。数据收集模块负责同步多模态数据，数据处理模块则确保数据的完整性和任务成功率，技能诱导模块则根据收集的数据生成可重用的技能。

关键创新：最重要的创新在于构建了WorkDemo-350数据集，这是第一个同步的多模态人类桌面GUI演示数据集，为后续的技能诱导提供了丰富的基础数据。此外，提出的技能诱导方法能够在不同执行模型中有效提取工作流程规则和步骤依赖关系。

关键设计：在技能诱导过程中，设计了特定的损失函数以优化技能的重用性，并采用了多层次的网络结构来捕捉复杂的任务依赖关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Work2Skill在MyPCBench Bounded Action上得分提升4.67至10.54分，在286任务子集的OSWorld-Verified上得分提升3.11至7.50分，成功率显著高于无技能基线，展示了其在技能诱导方面的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能助手、自动化办公软件和教育培训工具等。通过有效捕捉和重用人类的GUI操作技能，能够显著提升代理在复杂任务中的执行效率，降低用户的学习成本。未来，该框架还可以扩展到其他领域，如游戏开发和虚拟现实等，具有广泛的实际价值。

📄 摘要（原文）

Computer-use agents can perform increasingly complex GUI tasks, yet unfamiliar software and workflows requiring human domain knowledge remain challenging. Human demonstrations convey procedural knowledge through the same GUI interaction space, but reuse requires interpreting actions in context and separating workflow rules from task-specific details. We thus introduce Work2Skill, a framework that captures human GUI experience for reusable agent skill induction. WorkRecorder provides the framework's infrastructure for collecting this experience, aligning screen recordings, mouse and keyboard events, and available accessibility-tree information. Using WorkRecorder, we construct WorkDemo-350, the first synchronized multimodal dataset of human desktop GUI demonstrations for reusable agent skill induction and downstream evaluation. Its 350 demonstrations are screened for completeness and task success. We then propose an agentic skill-induction method that inspects evidence on demand to produce reusable skills capturing workflow rules, step dependencies, and completion checks. When the same four execution models are equipped with skills induced by each method under shared execution settings, Work2Skill achieves the highest scores and success rates. Mean score improvements over the corresponding No Skill baseline are 4.67--10.54 points on MyPCBench Bounded Action and 3.11--7.50 points on a 286-task subset of OSWorld-Verified. Our code and data are available at https://github.com/china-qijizhifeng/Work2Skill.