Multimodal Graph Representation Learning for Robust Surgical Workflow Recognition with Adversarial Feature Disentanglement
作者: Long Bai, Boyi Ma, Ruohan Wang, Guankun Wang, Beilei Cui, Zhongliang Jiang, Mobarakol Islam, Zhe Min, Jiewen Lai, Nassir Navab, Hongliang Ren
分类: cs.CV, cs.RO
发布日期: 2025-05-03
备注: Accepted by Information Fusion
💡 一句话要点
提出基于对抗解耦的多模态图表示学习方法，用于提升手术工作流识别在数据损坏下的鲁棒性。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 手术工作流识别 多模态融合 图表示学习 对抗解耦 鲁棒性 数据损坏 视觉-运动学数据
📋 核心要点
- 现有手术工作流识别方法在数据损坏（如遮挡、噪声）的情况下性能显著下降，无法满足实际应用需求。
- 提出一种多模态图表示网络GRAD，通过对抗解耦学习视觉和运动学数据的鲁棒特征，并利用图结构建模模态间关系。
- 实验结果表明，该方法在数据损坏情况下表现出优异的稳定性和鲁棒性，有效提升了手术工作流识别的准确性。
📝 摘要（中文）
手术工作流识别对于自动化任务、支持决策、培训新手外科医生至关重要，最终提高患者安全并标准化手术流程。然而，数据损坏会导致性能下降，例如手术场景中出血或烟雾造成的遮挡，以及数据存储和传输问题。本文探索了一种鲁棒的基于图的多模态方法，整合视觉和运动学数据，以提高准确性和可靠性。视觉数据捕捉动态手术场景，而运动学数据提供精确的运动信息，克服了恶劣条件下视觉识别的局限性。我们提出了一种具有对抗特征解耦的多模态图表示网络(GRAD)，用于在具有领域偏移或数据损坏的挑战性场景中进行鲁棒的手术工作流识别。具体来说，我们引入了一种多模态解耦图网络，该网络捕获细粒度的视觉信息，同时通过基于图的消息建模显式地建模视觉和运动学嵌入之间的复杂关系。为了对齐跨模态的特征空间，我们提出了一个视觉-运动学对抗框架，该框架利用对抗训练来减少模态差距并提高特征一致性。此外，我们设计了一个上下文校准解码器，结合了时间和上下文先验，以增强对领域偏移和数据损坏的鲁棒性。大量的比较和消融实验证明了我们的模型和所提出的模块的有效性。此外，我们的鲁棒性实验表明，我们的方法有效地处理了存储和传输过程中的数据损坏，表现出优异的稳定性和鲁棒性。我们的方法旨在推进自动手术工作流识别，解决手术过程中固有的复杂性和动态性。
🔬 方法详解
问题定义：手术工作流识别旨在理解手术过程中的步骤和阶段，但现有方法在实际应用中面临数据损坏的挑战，例如手术视野被血液或烟雾遮挡，或者数据在存储和传输过程中发生错误。这些问题会导致模型性能显著下降，影响手术自动化和决策支持系统的可靠性。
核心思路：论文的核心思路是利用多模态信息融合（视觉和运动学数据）来提高模型对数据损坏的鲁棒性。视觉数据提供手术场景的整体信息，而运动学数据提供精确的器械运动信息。通过对抗解耦学习，将模态特定的信息和共享信息分离，从而减少模态间的差异，提高模型的泛化能力。
技术框架：GRAD模型的整体框架包括以下几个主要模块：1) 多模态解耦图网络：用于提取视觉和运动学数据的特征，并利用图结构建模模态间的关系。2) 视觉-运动学对抗框架：通过对抗训练对齐不同模态的特征空间，减少模态差距。3) 上下文校准解码器：利用时间和上下文先验知识，增强模型对领域偏移和数据损坏的鲁棒性。整个流程是先分别提取视觉和运动学特征，然后通过图网络进行融合，再利用对抗框架进行特征对齐，最后通过解码器进行工作流识别。
关键创新：该论文的关键创新在于：1) 提出了一种多模态解耦图网络，能够有效地建模视觉和运动学数据之间的复杂关系，并提取细粒度的特征。2) 引入了视觉-运动学对抗框架，通过对抗训练减少模态差距，提高特征一致性。3) 设计了上下文校准解码器，利用时间和上下文信息增强模型对数据损坏的鲁棒性。与现有方法相比，该方法更注重对模态间关系的建模和对数据损坏的鲁棒性。
关键设计：在多模态解耦图网络中，使用了GCN（图卷积网络）来建模视觉和运动学数据之间的关系。对抗框架采用了GAN（生成对抗网络）的结构，生成器用于学习模态共享的特征表示，判别器用于区分不同模态的特征。上下文校准解码器使用了LSTM（长短期记忆网络）来捕捉时间依赖关系，并结合上下文信息进行解码。损失函数包括分类损失、对抗损失和重构损失，用于优化模型的各个部分。
🖼️ 关键图片
📊 实验亮点
论文通过大量实验验证了GRAD模型的有效性。在数据损坏的情况下，GRAD模型相比于其他基线方法表现出更强的鲁棒性，识别准确率显著提升。消融实验表明，多模态解耦图网络、对抗框架和上下文校准解码器等模块都对模型性能有积极贡献。具体性能数据未知，但强调了其在数据损坏情况下的优越性。
🎯 应用场景
该研究成果可应用于开发更可靠的手术机器人和智能手术辅助系统。通过提高手术工作流识别的鲁棒性，可以减少人为错误，提高手术效率和安全性，并为新手外科医生提供更好的培训和指导。此外，该方法还可以推广到其他需要多模态信息融合和鲁棒性保证的领域，例如自动驾驶和智能监控。
📄 摘要（原文）
Surgical workflow recognition is vital for automating tasks, supporting decision-making, and training novice surgeons, ultimately improving patient safety and standardizing procedures. However, data corruption can lead to performance degradation due to issues like occlusion from bleeding or smoke in surgical scenes and problems with data storage and transmission. In this case, we explore a robust graph-based multimodal approach to integrating vision and kinematic data to enhance accuracy and reliability. Vision data captures dynamic surgical scenes, while kinematic data provides precise movement information, overcoming limitations of visual recognition under adverse conditions. We propose a multimodal Graph Representation network with Adversarial feature Disentanglement (GRAD) for robust surgical workflow recognition in challenging scenarios with domain shifts or corrupted data. Specifically, we introduce a Multimodal Disentanglement Graph Network that captures fine-grained visual information while explicitly modeling the complex relationships between vision and kinematic embeddings through graph-based message modeling. To align feature spaces across modalities, we propose a Vision-Kinematic Adversarial framework that leverages adversarial training to reduce modality gaps and improve feature consistency. Furthermore, we design a Contextual Calibrated Decoder, incorporating temporal and contextual priors to enhance robustness against domain shifts and corrupted data. Extensive comparative and ablation experiments demonstrate the effectiveness of our model and proposed modules. Moreover, our robustness experiments show that our method effectively handles data corruption during storage and transmission, exhibiting excellent stability and robustness. Our approach aims to advance automated surgical workflow recognition, addressing the complexities and dynamism inherent in surgical procedures.