QuIIL at T3 challenge: Towards Automation in Life-Saving Intervention Procedures from First-Person View

📄 arXiv: 2407.13216v1 📥 PDF

作者: Trinh T. L. Vuong, Doanh C. Bui, Jin Tae Kwak

分类: cs.CV

发布日期: 2024-07-18

备注: MICCAI-Thompson Challenge 2023

💡 一句话要点

QuIIL团队提出针对第一人称视角下救生干预流程自动化的解决方案

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱六：视频提取与匹配 (Video Extraction)

关键词: 动作识别 动作预测 视觉问答 知识蒸馏 注意力机制 第一人称视角 救生干预 多模态融合

📋 核心要点

  1. 现有动作识别与预测方法在处理第一人称视角下的救生干预流程时，缺乏对时序信息的有效利用。
  2. 论文核心在于提出一种结合多帧拼接、动量注意力知识蒸馏以及动作字典引导的训练策略，提升动作识别与预测的准确性。
  3. 实验结果表明，该方案在动作识别和预测任务中取得了第二名的成绩，并在视觉问答任务中获得了第一名。

📝 摘要（中文）

本文介绍了QuIIL团队在Trauma THOMPSON (T3) 挑战赛中，针对救生干预流程自动化任务的一系列解决方案，涵盖动作识别、动作预测和视觉问答(VQA)。针对动作识别和预测，我们提出了一种预处理策略，将多个输入采样并拼接成单个图像，然后结合基于动量和注意力的知识蒸馏来提高性能。在训练方面，我们提出了一种动作字典引导的设计，在我们的实验中始终产生最有利的结果。在VQA领域，我们利用对象级别的特征，并部署协同注意力网络来训练对象和问题特征。特别地，我们在网络的核心引入了一种新颖的帧-问题交叉注意力机制，以增强性能。我们的解决方案在动作识别和预测任务中获得第二名，在VQA任务中获得第一名。

🔬 方法详解

问题定义：论文旨在解决在第一人称视角下，自动化救生干预流程中的动作识别、动作预测和视觉问答(VQA)问题。现有方法在处理此类任务时，面临着视角变化大、动作复杂、时序依赖性强等挑战，导致识别和预测精度不高。

核心思路：论文的核心思路是充分利用时序信息，并结合知识蒸馏和注意力机制来提升模型的性能。通过多帧拼接，模型可以同时观察到多个时间步的信息，从而更好地理解动作的演变过程。知识蒸馏则可以将更复杂的模型的知识迁移到更小的模型中，提高模型的泛化能力。注意力机制则可以使模型更加关注关键的帧和对象，从而提高识别和预测的准确性。

技术框架：整体框架包括三个主要部分：动作识别与预测模块和VQA模块。动作识别与预测模块首先对输入视频进行预处理，将多个帧拼接成单个图像。然后，使用一个深度神经网络来提取图像特征，并使用一个分类器来预测动作类别。VQA模块则首先提取图像和问题的特征，然后使用一个协同注意力网络来融合这些特征，并最终预测答案。

关键创新：论文的关键创新点在于：1) 提出了一种多帧拼接的预处理策略，可以有效地利用时序信息；2) 结合了动量和注意力的知识蒸馏方法，可以提高模型的泛化能力；3) 在VQA模块中引入了一种新颖的帧-问题交叉注意力机制，可以更好地理解图像和问题之间的关系。

关键设计：在动作识别与预测模块中，使用了ResNet等深度卷积神经网络作为特征提取器。在知识蒸馏过程中，使用了动量更新策略来稳定训练过程。在VQA模块中，使用了Transformer等模型来提取问题特征，并使用了协同注意力机制来融合图像和问题特征。帧-问题交叉注意力机制的具体实现方式是，首先计算帧特征和问题特征之间的相似度矩阵，然后使用该矩阵来加权帧特征和问题特征，从而得到融合后的特征。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

该团队的解决方案在T3挑战赛中取得了显著成果：在动作识别和预测任务中获得第二名，证明了所提出的多帧拼接、知识蒸馏和动作字典引导策略的有效性；在视觉问答任务中获得第一名，突显了帧-问题交叉注意力机制在理解图像和问题之间关系方面的优势。

🎯 应用场景

该研究成果可应用于医疗机器人、智能辅助诊断、远程医疗等领域。通过自动化救生干预流程，可以提高急救效率，降低医疗成本，并为医生提供更准确的决策支持。未来，该技术有望在灾难救援、军事医疗等场景中发挥重要作用。

📄 摘要（原文）

In this paper, we present our solutions for a spectrum of automation tasks in life-saving intervention procedures within the Trauma THOMPSON (T3) Challenge, encompassing action recognition, action anticipation, and Visual Question Answering (VQA). For action recognition and anticipation, we propose a pre-processing strategy that samples and stitches multiple inputs into a single image and then incorporates momentum- and attention-based knowledge distillation to improve the performance of the two tasks. For training, we present an action dictionary-guided design, which consistently yields the most favorable results across our experiments. In the realm of VQA, we leverage object-level features and deploy co-attention networks to train both object and question features. Notably, we introduce a novel frame-question cross-attention mechanism at the network's core for enhanced performance. Our solutions achieve the $2^{nd}$ rank in action recognition and anticipation tasks and $1^{st}$ rank in the VQA task.