LapaFM: A Laparoscopic Foundation Model via Multi-Stage Continual Learning

📄 arXiv: 2610.32263v1 📥 PDF

作者: Xiaobo Zhu, Shiwei Wu, Yu An, Yuechen Tao, He Sun, Song Zhang, Jianbo Wang, Xiaojing Wang, Junwei Liu, Wei Guo, Yanfei Shao, Xuan Zhao, Jiangwei Xiao, Wenbo Niu, Bo Wei, Yuhan Wang, Gang Hu, Fei Liu, Kunshan He, Chongwei Chi, Jianqiang Tang, Kang Zhang, Jie Tian, Zhenyu Liu

分类: cs.CV

发布日期: 2026-10-23

💡 一句话要点

提出LapaFM以解决腹腔镜手术视频分析中的多任务泛化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 腹腔镜手术 持续学习 多模态学习 视频分析 模型泛化 医疗影像 深度学习

📋 核心要点

  1. 现有的手术视频分析模型在多样化任务中泛化能力不足，难以有效支持外科决策。
  2. LapaFM通过多阶段持续学习策略，利用大量手术视频训练，克服了灾难性遗忘和任务间干扰。
  3. 实验结果表明，LapaFM在多个任务上均优于现有模型，尤其在淋巴结转移预测和息肉分类中表现出临床水平的性能。

📝 摘要（中文）

基于人工智能的腹腔镜手术视频分析有助于提升外科决策和精确度。然而，现有模型在多样化的手术任务中泛化能力不足。本文提出LapaFM，一个通过多阶段持续学习策略训练的基础模型，使用超过20,000分钟的手术视频，克服了灾难性遗忘和任务间干扰。LapaFM学习多模态视觉表示，支持多项任务，包括烟雾去除、手术阶段识别、器械和息肉分割以及病变识别。该模型在13个回顾性和2个前瞻性队列中进行评估，结果显示其在各数据集上均优于任务特定模型和现有基础模型，并且能够推广到胃肠内镜任务，表现出色。

🔬 方法详解

问题定义：本文旨在解决腹腔镜手术视频分析中模型泛化能力不足的问题。现有方法在多样化手术任务中容易出现灾难性遗忘和任务间干扰，导致性能下降。

核心思路：LapaFM采用多阶段持续学习策略，通过不断更新模型来适应不同的手术任务，从而提升模型的泛化能力和稳定性。

技术框架：LapaFM的整体架构包括数据预处理、特征提取、任务学习和模型评估四个主要模块。通过多模态学习，模型能够同时处理视觉信息和任务需求。

关键创新：LapaFM的主要创新在于其多阶段持续学习策略，有效缓解了传统模型在多任务学习中的灾难性遗忘问题，确保了模型在不同任务间的知识迁移。

关键设计：模型采用了特定的损失函数来平衡各任务的学习，使用了深度卷积神经网络（CNN）作为基础架构，并在训练过程中引入了数据增强技术以提高模型的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LapaFM在多个任务上表现优异，成功恢复超过90%的烟雾遮挡帧，并在淋巴结转移预测和前瞻性息肉分类中达到了临床水平或更高的性能，显著优于任务特定模型和现有基础模型。

🎯 应用场景

LapaFM的研究成果在外科手术辅助、医疗影像分析等领域具有广泛的应用潜力。其能够提升手术过程中的决策支持，帮助外科医生更准确地识别病变和进行手术操作，未来可能推动智能医疗的发展。

📄 摘要（原文）

Artificial intelligence-based analysis of intraoperative laparoscopic videos has the potential to improve surgical decision-making and precision. However, effective surgical assistance requires models that can generalize across diverse intraoperative tasks. Here we present LapaFM, a foundation model for laparoscopic surgery trained on more than 20,000 minutes of surgical videos using a multi-stage continual learning strategy that mitigates catastrophic forgetting and inter-task interference. LapaFM learns multimodal visual representations and supports multiple tasks, including smoke removal, surgical phase recognition, instrument and polyp segmentation, and lesion identification. The model was evaluated on 13 retrospective and two prospective cohorts collected from different imaging devices. LapaFM consistently outperformed task-specific models and existing foundation models across datasets, and also generalized to gastrointestinal endoscopy tasks, including polyp detection and classification. Notably, it recovered over 90% of smoke-obscured frames and achieved clinician-level or superior performance in lymph node metastasis prediction and prospective polyp classification.