EgoProceVQA: A Novel Egocentric Procedural Understanding Task with Self-Skill-Exploration Agent

📄 arXiv: 2607.13792v1 📥 PDF

作者: Junlong Li, Junxi Li, Yuxiang Yang, Wenbin Zou, Lap-Pui Chau, Yi Wang

分类: cs.CV

发布日期: 2026-07-15

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出EgoProceVQA以解决日常活动程序理解问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 程序理解 视频问答 自我技能探索 数据生成平台 日常活动 大规模语言模型 智能助手

📋 核心要点

  1. 现有的以自我为中心的视频理解方法在程序理解和复杂推理方面存在显著不足，无法有效支持日常活动的理解。
  2. 论文提出EgoProceVQA任务，通过六种关键步骤问题评估程序性推理能力，并开发EgoProceGen数据生成平台以支持问答数据构建。
  3. 实验结果显示，现有的MLLMs和代理在程序理解上仍有较大提升空间，EgoProceAgent框架在多个任务上达到了开源模型中的最佳性能。

📝 摘要（中文）

大多数日常活动本质上是程序性的。然而，现有的以自我为中心的视频理解评估很少关注程序理解，且在广泛使用的视频问答（VQA）范式下，往往忽视复杂的关键步骤级推理。这些能力对于构建可在可穿戴设备上部署的程序性AI助手至关重要。为此，我们引入了以自我为中心的程序理解VQA任务（EgoProceVQA），通过六种关键步骤中心的问题系统评估当前大规模语言模型（MLLMs）和代理的程序性推理能力。此外，我们开发了EgoProceGen，一个高效构建针对不同问题类型的问答数据生成平台。基于此平台，我们建立了一个包含3600个问题、四种常见程序场景和31个日常程序任务的基准。评估结果表明，现有的MLLMs和代理在程序理解方面仍有很大的提升空间。因此，我们进一步提出了EgoProceAgent，一个自我技能探索的代理框架。

🔬 方法详解

问题定义：论文要解决的具体问题是现有方法在程序理解和复杂推理方面的不足，尤其是在日常活动的关键步骤推理上。现有的VQA方法未能有效评估这些能力，限制了程序性AI助手的发展。

核心思路：论文的核心解决思路是引入EgoProceVQA任务，通过设计六种关键步骤问题来系统评估程序性推理能力。同时，开发EgoProceGen平台以生成针对不同问题类型的问答数据，支持模型训练和评估。

技术框架：整体架构包括EgoProceVQA任务的设计、EgoProceGen数据生成平台的构建，以及EgoProceAgent自我技能探索框架。主要模块包括问题生成、数据集构建、模型训练和评估。

关键创新：最重要的技术创新点在于引入了EgoProceVQA任务和EgoProceGen平台，系统性地评估和提升了程序性推理能力，与现有方法相比，提供了更为细致的评估标准和数据支持。

关键设计：在EgoProceAgent框架中，设计了通用工具库和标准化子技能库，支持无真值监督的自我探索。通过组合和选择子技能，代理能够发现有效的技能策略，提升了模型在多任务上的表现。具体的参数设置和损失函数设计尚未详细披露。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EgoProceAgent在多个任务上达到了开源模型中的最佳性能，显示出显著的提升。具体而言，模型在程序理解任务上的表现优于现有的MLLMs，展示了在复杂推理能力上的进步。

🎯 应用场景

该研究的潜在应用领域包括智能家居、可穿戴设备和人机交互等场景，能够为日常活动提供智能化的程序性支持。未来，随着程序理解能力的提升，AI助手将能够更好地理解和执行复杂的日常任务，提升用户体验。

📄 摘要（原文）

Most daily activities are inherently procedural. However, existing evaluations for egocentric video understanding seldom address procedural understanding and largely overlook complex key-step-level reasoning under the widely used video question answering (VQA) paradigm for MLLMs. Such capabilities are crucial for building procedural AI assistants deployable on wearable devices. To bridge this gap, we introduce the Egocentric Procedural Understanding VQA task (EgoProceVQA), which systematically evaluates egocentric procedural reasoning abilities of current MLLMs and agents through six types of key-step-centric questions. Furthermore, we develop EgoProceGen, a data generation platform that efficiently constructs QA data tailored to different question types. Based on this platform, we build a benchmark with 3,600 questions, four common procedural scenarios, and 31 everyday procedural tasks. Evaluations on EgoProceVQA show that existing MLLMs and agents still have substantial room for improvement in procedural understanding. Therefore, we further propose EgoProceAgent, a self-skill-exploration agentic framework. We design a generic tool library for procedural understanding and a standardized sub-skill library shared across tools and models, enabling self-exploration without ground-truth supervision. By exploring how to compose and select sub-skills, the agent discovers effective skill strategies for diverse problems, and attains state-of-the-art performance among open-source models on multiple tasks. Together, our benchmark, generation platform, and agentic framework establish a unified foundation for EgoProceVQA. Project page: https://z1oong.github.io/EgoProceVQA/.