SR-Mamba: Effective Surgical Phase Recognition with State Space Model

📄 arXiv: 2407.08333v1 📥 PDF

作者: Rui Cao, Jiangliu Wang, Yun-Hui Liu

分类: cs.CV

发布日期: 2024-07-11

备注: Technical Report

🔗 代码/项目: GITHUB

💡 一句话要点

SR-Mamba：利用状态空间模型实现高效的手术阶段识别

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 手术阶段识别 状态空间模型 Mamba 长时序建模 双向解码器 单步训练 计算机辅助手术 手术视频分析

📋 核心要点

  1. 手术阶段识别的关键挑战在于有效建模手术视频中的长程时序依赖关系，现有方法难以兼顾效率与精度。
  2. SR-Mamba利用双向Mamba解码器捕获长程时序信息，并采用单步训练方式简化训练流程，提升模型性能。
  3. 实验表明，SR-Mamba在Cholec80和CATARACTS Challenge数据集上取得了SOTA性能，为手术视频分析设立了新基准。

📝 摘要（中文）

手术阶段识别对于提高计算机辅助干预的效率和安全性至关重要。一个根本性的挑战是建模手术视频中存在的长距离时间关系。受到Mamba最新成功的启发，Mamba是一种在序列长度上具有线性可扩展性的状态空间模型，本文提出了SR-Mamba，一种专门为满足手术阶段识别挑战而量身定制的新型无注意力模型。在SR-Mamba中，我们利用双向Mamba解码器来有效地建模超长序列中的时间上下文。此外，所提出的Mamba解码器的有效优化有助于单步神经网络训练，消除了像先前工作中那样的单独训练步骤的需要。这种单步训练方法不仅简化了训练过程，而且即使使用更轻的空间特征提取器也能确保更高的准确性。我们的SR-Mamba通过在Cholec80和CATARACTS Challenge数据集上展示最先进的性能，为手术视频分析建立了一个新的基准。

🔬 方法详解

问题定义：手术阶段识别旨在自动判断手术视频中每个时刻所处的手术阶段。现有方法，特别是基于Transformer的模型，在处理长序列时计算复杂度高，难以有效建模长距离时间依赖关系，并且通常需要多步训练，流程复杂。

核心思路：SR-Mamba的核心在于利用Mamba状态空间模型的线性复杂度优势，高效建模长序列中的时间关系。通过双向Mamba解码器，模型能够同时考虑过去和未来的信息，从而更准确地识别手术阶段。单步训练简化了训练流程，并允许模型更好地优化整体性能。

技术框架：SR-Mamba主要包含空间特征提取模块和双向Mamba解码器。首先，空间特征提取模块从手术视频帧中提取视觉特征。然后，双向Mamba解码器接收这些特征序列，并利用其状态空间模型来建模时间依赖关系，最终输出每个时刻的手术阶段预测。整个网络采用端到端的方式进行训练。

关键创新：SR-Mamba的关键创新在于将Mamba状态空间模型引入手术阶段识别任务，并设计了双向Mamba解码器。与传统的基于注意力机制的模型相比，Mamba具有线性复杂度，能够更高效地处理长序列。此外，单步训练方式简化了训练流程，并提升了模型性能。

关键设计：SR-Mamba的关键设计包括：1) 双向Mamba解码器，允许模型同时考虑过去和未来的信息；2) 单步训练方式，简化训练流程并提升模型性能；3) 针对手术视频特点优化的Mamba参数设置（具体参数设置论文未明确说明，未知）；4) 损失函数采用交叉熵损失函数，用于衡量预测结果与真实标签之间的差异（具体损失函数权重等细节未知）。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SR-Mamba在Cholec80和CATARACTS Challenge数据集上取得了state-of-the-art的性能。具体性能数据（如准确率、F1值等）和对比基线（如Transformer、LSTM等）的详细数值在摘要中未给出，需参考论文原文。但摘要明确指出，SR-Mamba建立了新的基准，表明其性能显著优于现有方法。

🎯 应用场景

SR-Mamba在计算机辅助手术、手术机器人等领域具有广泛的应用前景。它可以用于实时手术导航、手术技能评估、手术流程优化等方面，提高手术效率和安全性，并为医生提供更智能化的辅助工具。未来，该技术有望应用于更复杂的手术场景，并与其他模态的信息融合，实现更精准的手术阶段识别。

📄 摘要（原文）

Surgical phase recognition is crucial for enhancing the efficiency and safety of computer-assisted interventions. One of the fundamental challenges involves modeling the long-distance temporal relationships present in surgical videos. Inspired by the recent success of Mamba, a state space model with linear scalability in sequence length, this paper presents SR-Mamba, a novel attention-free model specifically tailored to meet the challenges of surgical phase recognition. In SR-Mamba, we leverage a bidirectional Mamba decoder to effectively model the temporal context in overlong sequences. Moreover, the efficient optimization of the proposed Mamba decoder facilitates single-step neural network training, eliminating the need for separate training steps as in previous works. This single-step training approach not only simplifies the training process but also ensures higher accuracy, even with a lighter spatial feature extractor. Our SR-Mamba establishes a new benchmark in surgical video analysis by demonstrating state-of-the-art performance on the Cholec80 and CATARACTS Challenge datasets. The code is accessible at https://github.com/rcao-hk/SR-Mamba.