Hand-Aware Transition Modeling for Bimanual Procedural Anomaly Detection

📄 arXiv: 2609.21207v1 📥 PDF

作者: Di Wen, Jimmy Weissert, Luc Maria Scherrer, Cedric Zöllner, Kailun Yang, Ruiping Liu, Yufan Chen, Jiale Wei, Junwei Zheng, Kunyu Peng

分类: cs.CV

发布日期: 2026-09-18

备注: 6 pages, 1 figure, 3 tables. Code: https://github.com/Kratos-Wen/HACT

🔗 代码/项目: GITHUB

💡 一句话要点

提出HACT模型以解决双手操作中的程序异常检测问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 双手操作 程序异常检测 事件过渡建模 角色保持历史 时间点过程 异常后验概率 工业自动化

📋 核心要点

  1. 现有方法在双手操作的程序异常检测中，难以有效判断手部动作的合理性，容易导致误报。
  2. HACT模型通过建立每只手的事件过渡模型，结合角色保持历史和时间点过程，提升了异常检测的准确性。
  3. 在双手电动工具的实验中，HACT模型在AUPRC和F1分数上优于其他方法，并且误报率最低。

📝 摘要（中文）

在双手组装过程中，程序异常检测需要对每个手的动作进行判断，考虑到执行过程中的上下文。我们提出了HACT模型，它通过对每个手的事件进行过渡建模，利用角色保持历史记录并引入标记的时间点过程，为每个观察到的过渡分配语义和时间上的惊讶度。通过监督证据头和双状态过滤器，将这些惊讶度转化为每只手的异常后验概率。HACT在两个双手电动工具程序中表现出最高的AUPRC和F1分数，并且在不同组装顺序下应用时仍保持优异性能。源代码可在https://github.com/Kratos-Wen/HACT获取。

🔬 方法详解

问题定义：本论文旨在解决双手操作中的程序异常检测问题，现有方法常常无法有效判断手部动作的合理性，导致误报和漏报现象频繁。

核心思路：HACT模型通过对每只手的事件进行过渡建模，利用角色保持历史记录来保持双手的并发责任，并引入标记的时间点过程来评估每个过渡的语义和时间惊讶度，从而提升异常检测的准确性。

技术框架：HACT模型的整体架构包括事件过渡建模、角色保持历史、时间点过程、监督证据头和双状态过滤器等主要模块，形成一个完整的异常检测流程。

关键创新：HACT的核心创新在于引入了角色保持历史和时间点过程的结合，使得模型能够更好地理解双手操作中的上下文关系，从而有效减少误报。

关键设计：模型设计中，监督证据头用于将惊讶度转化为异常后验概率，双状态过滤器则用于优化检测结果，确保在不同操作条件下的鲁棒性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

HACT模型在两个双手电动工具程序中表现出最高的AUPRC和F1分数，且在不同组装顺序下仍保持优异性能，显示出其在异常检测中的有效性和鲁棒性。与其他方法相比，HACT的误报率最低，提升幅度显著。

🎯 应用场景

该研究的潜在应用领域包括工业自动化、机器人组装和人机协作等场景。通过提高双手操作的异常检测能力，可以有效减少生产过程中的错误，提高效率和安全性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Procedural anomaly detection in bimanual assembly requires judging each hand action against the execution so far. A corrective action may look unusual in isolation, while a visually plausible action can violate the order of the procedure. We present HACT, a transition model over predicted per-hand events. A role-preserving history keeps the concurrent responsibilities of both hands, and a marked temporal point process assigns each observed transition a semantic and temporal surprisal. A supervised evidence head and a two-state filter convert these surprisals into per-hand anomaly posteriors. A recovery-aware protocol on predicted events and participant-disjoint folds reports the recovery false-positive rate at an operating point selected on validation participants. On two bimanual power-tool procedures HACT has the highest AUPRC and F1 among the compared methods and the fewest recovery alarms. Applied without retraining to a different assembly order of the same product, it retains the highest AUPRC and F1. The source code is available at https://github.com/Kratos-Wen/HACT.