PROVIA: Procedure State Tracking for Online Mistake Detection in Egocentric Videos

📄 arXiv: 2609.20638v1 📥 PDF

作者: Di Wen, Kailun Yang, Jimmy Weissert, Luc Maria Scherrer, Cedric Zöllner, Ruiping Liu, Yufan Chen, Jiale Wei, Junwei Zheng, Kunyu Peng

分类: cs.CV

发布日期: 2026-09-17

备注: 9 pages, 2 figures, 4 tables. Code: https://github.com/Kratos-Wen/PROVIA

🔗 代码/项目: GITHUB

💡 一句话要点

提出PROVIA以解决自我中心视频中的错误检测问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 自我中心视频 错误检测 程序状态跟踪 贝叶斯推断 实时处理 机器人操作 视频分析

📋 核心要点

  1. 现有方法在检测自我中心视频中的错误时，通常只关注首次错误，无法有效利用后续信息。
  2. PROVIA通过维护事实状态和接受进度两个记录，利用贝叶斯状态合并来跟踪程序状态，提升错误检测能力。
  3. 在多个数据集上，PROVIA在错误召回率和处理速度上均优于现有基线，验证了其有效性。

📝 摘要（中文）

本研究提出了一种名为PROVIA的方法，旨在通过分析自我中心视频中的过去帧来检测错误，并在错误发生后继续工作。当前在线方法在检测错误时通常只关注首次错误，导致无法有效利用视频信息。PROVIA通过维护事实状态和接受进度两个记录，利用贝叶斯状态合并技术来跟踪程序状态转变，并通过序列测试将每帧的错误概率转化为警报。实验结果表明，PROVIA在多个数据集上表现优异，能够在每分钟0.1次错误警报的验证预算下，显著提高错误召回率。

🔬 方法详解

问题定义：本研究旨在解决自我中心视频中错误检测的挑战，现有方法往往只关注首次错误，导致无法充分利用视频信息进行有效的错误检测和恢复。

核心思路：PROVIA通过维护两个记录：事实状态和接受进度，来跟踪程序状态的变化。事实状态记录每个参与者的步骤，包括错误，而接受进度则通过贝叶斯状态合并技术来精确表示自动机的状态。

技术框架：整体架构包括两个主要模块：事实状态记录模块和接受进度模块。事实状态模块负责记录每个步骤的执行情况，而接受进度模块则通过贝叶斯推断来更新状态。最后，序列测试模块将每帧的错误概率转化为警报。

关键创新：PROVIA的创新在于同时维护事实状态和接受进度，允许在错误和修正分支中保留源状态，从而提高了错误检测的准确性和鲁棒性。与现有方法相比，PROVIA能够在完整试验中自然出现错误和恢复，避免了固定时间规则的局限性。

关键设计：在参数设置上，PROVIA采用了单一过滤器和优化规则，确保在不同数据集上均能达到最佳的错误检测效果。实验中，PROVIA的处理速度为58-70帧每秒，确保了实时性。实验结果显示，在CaptainCook4D和HoloAssist数据集上，PROVIA的错误召回率显著高于基线方法。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在实验中，PROVIA在CaptainCook4D数据集上以0.154的错误召回率超越了基线的0.128，而在HoloAssist数据集上则达到0.034，相较于基线的0.015有显著提升。该方法在每分钟0.1次错误警报的验证预算下，始终保持领先，展示了其卓越的性能。

🎯 应用场景

PROVIA的研究成果在多个领域具有广泛的应用潜力，尤其是在机器人操作、视频监控和人机交互等场景中。通过实时检测和纠正错误，该方法能够提升系统的智能化水平，减少人为干预，提高工作效率。未来，PROVIA还可以与其他智能系统结合，进一步拓展其应用范围。

📄 摘要（原文）

An assistant watching egocentric video should notice a mistake from past frames alone, before the next step begins, and keep working once the person recovers. A mistake changes the state of the work, so every later step has to be read against what was done rather than against the plan. The first-mistake protocol that current online methods report on cuts each recording at its first mistake, so a fixed-time rule that never looks at the video is right on every case. We evaluate on complete trials, where mistakes and recoveries arise naturally, under a validation false-alarm budget and against controls that use timing alone. PROVIA keeps two records apart: a factual state, a learned summary of the steps each actor performed, mistakes included, and the accepted progress, an exact posterior over the state of an automaton induced from correct demonstrations by Bayesian state merging and over the execution status of each actor. Procedure-state transitions occur only in the correct-status branch; the mistake and correction branches retain the source state. A sequential test turns the per-frame mistake probability into alarms. With one filter and one optimization rule, PROVIA ranks mistakes best among the evaluated controlled baselines on CaptainCook4D, IndustReal, HoloAssist and IMPACT-ego. At a validation budget of 0.1 false alarms per minute it recalls .154 against .128 on CaptainCook4D and .034 against .015 on HoloAssist, where it leads at every budget. The pipeline runs at 58-70 frames per second. The source code is available at https://github.com/Kratos-Wen/PROVIA.