Task Graph Maximum Likelihood Estimation for Procedural Activity Understanding in Egocentric Videos

📄 arXiv: 2502.17753v2 📥 PDF

作者: Luigi Seminara, Giovanni Maria Farinella, Antonino Furnari

分类: cs.CV

发布日期: 2025-02-25 (更新: 2025-02-26)

备注: arXiv admin note: text overlap with arXiv:2406.01486

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于梯度优化的任务图最大似然估计方法，用于理解自中心视频中的程序性活动。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 程序性活动理解 任务图学习 自中心视频 最大似然估计 梯度优化

📋 核心要点

  1. 现有方法在程序性活动理解中依赖手工设计的任务图，缺乏自适应性和优化能力。
  2. 该论文提出一种基于梯度优化的任务图学习方法，直接优化边权重，可集成到神经架构中。
  3. 实验表明，该方法在多个数据集上显著提升了程序性活动理解的F1分数，并改善了在线错误检测。

📝 摘要（中文）

本文提出了一种基于梯度的任务图学习方法，用于理解程序性活动，相比于手工设计的方法有所改进。该方法通过最大似然估计直接优化边的权重，从而能够集成到神经架构中。在CaptainCook4D、EgoPER和EgoProceL数据集上的验证表明，该方法分别实现了+14.5%、+10.2%和+13.6%的F1分数提升。基于特征的方法，通过文本/视频嵌入预测任务图，展示了新兴的视频理解能力。此外，在Ego-Exo4D程序理解基准测试中取得了最佳性能，并显著改善了在线错误检测（Assembly101-O数据集上+19.8%，EPIC-Tent-O数据集上+6.4%）。代码已开源。

🔬 方法详解

问题定义：论文旨在解决自中心视频中程序性活动理解的问题。现有方法主要依赖于手工设计的任务图，这些任务图缺乏灵活性，难以适应不同的程序性活动，并且无法进行端到端的优化。因此，如何自动学习任务图，并将其集成到神经架构中，成为一个关键挑战。

核心思路：论文的核心思路是通过最大似然估计直接优化任务图中边的权重。这种方法允许模型从数据中学习任务之间的依赖关系，而不是依赖于预定义的规则。通过梯度下降优化，可以将任务图学习集成到深度学习框架中，实现端到端的训练。

技术框架：整体框架包含以下几个主要步骤：1) 特征提取：从视频或文本数据中提取特征嵌入；2) 任务图构建：基于特征嵌入，预测任务图中边的权重；3) 最大似然估计：使用最大似然估计方法，优化边的权重，使得模型能够更好地预测程序性活动的执行顺序；4) 模型训练：将任务图学习模块集成到深度学习模型中，进行端到端的训练。

关键创新：该论文最重要的创新点在于提出了一种可微分的任务图学习方法。与传统的手工设计方法相比，该方法能够自动学习任务之间的依赖关系，并且可以集成到深度学习框架中进行端到端的优化。此外，该方法还能够利用文本和视频等多模态信息来预测任务图，从而提高程序性活动理解的准确性。

关键设计：论文使用交叉熵损失函数来衡量模型预测的任务执行顺序与真实顺序之间的差异。通过梯度下降算法，优化任务图中边的权重，使得模型能够更好地预测程序性活动的执行顺序。此外，论文还设计了一种基于特征的嵌入方法，用于从视频和文本数据中提取特征，并将其用于任务图的构建。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在CaptainCook4D、EgoPER和EgoProceL数据集上分别实现了+14.5%、+10.2%和+13.6%的F1分数提升。在Ego-Exo4D程序理解基准测试中取得了最佳性能，并在Assembly101-O和EPIC-Tent-O数据集上，在线错误检测分别提升了+19.8%和+6.4%。这些结果表明，该方法在程序性活动理解方面具有显著的优势。

🎯 应用场景

该研究成果可应用于机器人辅助、智能家居、教育培训等领域。例如，在机器人辅助方面，机器人可以利用学习到的任务图来理解人类的指令，并自主完成复杂的任务。在智能家居方面，系统可以根据用户的活动轨迹，预测用户的下一步行动，并提供个性化的服务。在教育培训方面，可以用于分析学生的学习过程，并提供个性化的指导。

📄 摘要（原文）

We introduce a gradient-based approach for learning task graphs from procedural activities, improving over hand-crafted methods. Our method directly optimizes edge weights via maximum likelihood, enabling integration into neural architectures. We validate our approach on CaptainCook4D, EgoPER, and EgoProceL, achieving +14.5%, +10.2%, and +13.6% F1-score improvements. Our feature-based approach for predicting task graphs from textual/video embeddings demonstrates emerging video understanding abilities. We also achieved top performance on the procedure understanding benchmark on Ego-Exo4D and significantly improved online mistake detection (+19.8% on Assembly101-O, +6.4% on EPIC-Tent-O). Code: https://github.com/fpv-iplab/Differentiable-Task-Graph-Learning.