HiERO-StepG @ Ego4D Step Grounding Challenge: hierarchical activity understanding enables zero-shot step grounding

📄 arXiv: 2605.31227v1 📥 PDF

作者: Andrea Zenotto, Simone Alberto Peirone, Francesca Pistilli, Giuseppe Averta

分类: cs.CV

发布日期: 2026-05-29

备注: Technical report for the Ego4D Goal Step - Step Grounding challenge at CVPR 2026, derived from arXiv:2505.12911

🔗 代码/项目: GITHUB

💡 一句话要点

HiERO-StepG：利用层级活动理解实现Ego4D零样本步骤定位

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 步骤定位 层级活动理解 零样本学习 弱监督学习 Ego4D 视频理解 动作识别

📋 核心要点

  1. 现有步骤定位方法依赖大量标注，泛化性差，难以适应真实场景。
  2. 利用HiERO学习动作的层级关系，无需额外标注即可实现步骤定位。
  3. HiERO-StepG在Ego4D步骤定位挑战赛中取得第二名，R@1 (IoU=0.3) 达到56.27%。

📝 摘要（中文）

程序性活动遵循明确的结构，例如烹饪食谱或汽车维修，这些活动自然分解为步骤和子步骤的层级结构。传统的步骤定位方法需要大量的标注，并且扩展性较差。本文提出，这种层级结构可以通过人类活动的未整理视频中共同出现的动作和活动的重复模式自然地产生。该方法基于HiERO，一种弱监督表示学习方法，它仅利用细粒度的动作级叙述，将功能相关的动作映射到特征空间中相近的位置。在这个特征空间中，可以通过简单的聚类来检测过程步骤，而无需额外的特定于任务的微调。针对Ego4D步骤定位挑战赛，本文通过确保步骤分配中的细粒度和粗粒度一致性，强制执行已定位步骤的严格时间单调性，并对检测到的步骤进行后处理以减少噪声预测的影响来增强此方法。该方法被称为HiERO-StepG，在提交时，在全球排行榜上以56.27%的R@1（IoU = 0.3）指标排名第二，同时完全是零样本的，不需要特定于过程的注释。

🔬 方法详解

问题定义：现有的步骤定位方法通常需要大量的标注数据，这使得它们在实际应用中面临着扩展性问题。特别是对于Ego4D这样的大规模第一人称视角视频数据集，获取精确的步骤标注成本非常高昂。此外，这些方法往往难以泛化到未见过的活动或场景中，因为它们过度依赖于训练数据中的特定模式。

核心思路：本文的核心思路是利用程序性活动内在的层级结构，通过弱监督学习的方式，从无标注或少量标注的视频数据中学习到动作和活动的表示。关键在于HiERO能够将功能相关的动作在特征空间中聚集在一起，从而使得步骤的检测可以通过简单的聚类来实现，而无需针对特定任务进行微调。这种方法的核心在于利用了活动本身固有的结构信息，而不是依赖于人工标注。

技术框架：HiERO-StepG的整体框架可以分为以下几个主要阶段：1) 使用HiERO进行弱监督表示学习，得到动作和活动的特征表示；2) 在学习到的特征空间中，使用聚类算法（具体算法未知）检测步骤；3) 通过确保细粒度和粗粒度一致性、强制时间单调性以及后处理等手段，优化步骤定位的结果。整个流程无需额外的特定于过程的标注。

关键创新：最重要的技术创新点在于利用弱监督学习方法HiERO，从视频数据中自动学习到动作和活动的层级关系表示。与传统的监督学习方法相比，这种方法大大降低了对标注数据的依赖，提高了模型的泛化能力。此外，通过引入细粒度和粗粒度一致性约束以及时间单调性约束，进一步提高了步骤定位的准确性。

关键设计：论文中提到确保细粒度和粗粒度一致性，以及强制执行已定位步骤的严格时间单调性，这些是关键的设计。具体的实现细节，比如如何定义细粒度和粗粒度，以及如何实现时间单调性约束，论文中没有详细说明。后处理步骤的具体算法也未知。HiERO的具体网络结构和损失函数也未在摘要中提及，需要参考HiERO的原始论文。

🖼️ 关键图片

fig_0

📊 实验亮点

HiERO-StepG在Ego4D Step Grounding Challenge中取得了显著成果，在零样本设置下，R@1 (IoU = 0.3) 指标达到56.27%，排名第二。该方法无需任何特定于过程的标注，展示了其强大的泛化能力和实际应用潜力。该结果表明，利用活动内在的层级结构可以有效解决步骤定位问题。

🎯 应用场景

该研究成果可应用于机器人辅助、智能家居、教育培训等领域。例如，机器人可以利用该技术理解人类的活动步骤，从而提供更智能的辅助服务。在教育领域，该技术可以用于自动分析教学视频，提取关键步骤，提高教学效率。未来，该技术有望扩展到更广泛的视频理解任务中，例如视频搜索、视频摘要等。

📄 摘要（原文）

Procedural activities follow well-defined structures: whether we consider a cooking recipe or a mechanic repairing a car, these activities naturally decompose in a hierarchy of steps and sub-steps. Traditional approaches for step grounding require extensive annotations and scale poorly. Instead, we argue that such hierarchical structure can emerge naturally from uncurated videos of human activities through recurring patterns of co-occurring actions and activities. Our approach builds on HiERO, a weakly-supervised representation learning approach that maps close in the feature space actions that are functionally related to each other, leveraging only fine-grained action-level narrations. In this feature space, procedure steps can be detected by a simple clustering, with no additional task-specific fine-tuning. For the Ego4D Step Grounding challenge, we augment this approach by ensuring fine and coarse level agreement in step assignments, enforcing strict temporal monotonicity of the grounded steps and post-processing the detected steps to reduce the impact of noisy predictions. We call this approach HiERO-StepG and it achieves 56.27 % on the R@1 (IoU = 0.3) metric on the global leaderboard at submission time, ranking second while being completely zero-shot and not requiring procedure-specific annotations. Project page: https://github.com/andreazenotto/HiERO-StepG.