CliPPER: Contextual Video-Language Pretraining on Long-form Intraoperative Surgical Procedures for Event Recognition

📄 arXiv: 2603.24539v1 📥 PDF

作者: Florian Stilz, Vinkle Srivastav, Nassir Navab, Nicolas Padoy

分类: cs.CV, cs.AI

发布日期: 2026-03-25

🔗 代码/项目: GITHUB

💡 一句话要点

CliPPER：用于术中手术长视频事件识别的上下文视频-语言预训练

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频-语言预训练 手术视频分析 事件识别 多模态学习 上下文建模

📋 核心要点

  1. 术中手术视频分析面临数据稀缺和时间理解挑战，现有方法难以有效利用长时上下文信息。
  2. CliPPER通过上下文视频-文本对比学习、剪辑顺序预测和循环一致性对齐，提升长视频多模态对齐。
  3. CliPPER在多个手术基准测试中取得了新的SOTA，证明了其在零样本手术事件识别方面的有效性。

📝 摘要（中文）

视频-语言基础模型已证明在各种任务的零样本应用中非常有效。术中手术过程领域是一个特别具有挑战性的领域，因为标记数据稀缺，并且对于复杂的下游任务通常需要精确的时间理解。为了应对这一挑战，我们提出了CliPPER（用于事件识别的术中手术长视频上下文视频-语言预训练），这是一个在手术讲座视频上训练的新型视频-语言预训练框架。我们的方法专为细粒度的时间视频-文本识别而设计，并引入了几种新颖的预训练策略，以改善长视频手术视频中的多模态对齐。具体来说，我们提出了上下文视频-文本对比学习（VTC_CTX）和剪辑顺序预测（COP）预训练目标，这两者都利用时间和上下文依赖性来增强局部视频理解。此外，我们结合了同一手术视频中视频-文本匹配的循环一致性对齐，以强制双向一致性并提高整体表示连贯性。此外，我们引入了一种更精细的对齐损失，即帧-文本匹配（FTM），以改善视频帧和文本之间的对齐。因此，我们的模型在多个公共手术基准测试中建立了新的最先进水平，包括对手术阶段、步骤、器械和三元组的零样本识别。源代码和预训练字幕可在https://github.com/CAMMA-public/CliPPER找到。

🔬 方法详解

问题定义：论文旨在解决术中手术长视频中事件识别的问题。现有方法在处理长视频时，难以有效捕捉视频帧与文本描述之间的细粒度对应关系，并且缺乏对视频上下文信息的充分利用，导致识别精度不高。

核心思路：论文的核心思路是通过预训练的方式，学习视频和文本之间的联合表示，从而提升模型在零样本场景下的事件识别能力。通过引入上下文信息和循环一致性约束，增强模型对长视频的理解能力，并提高视频帧与文本描述之间的对齐精度。

技术框架：CliPPER框架主要包含视频编码器和文本编码器，以及多个预训练目标。视频编码器负责提取视频帧的特征，文本编码器负责提取文本描述的特征。预训练阶段，模型通过上下文视频-文本对比学习（VTC_CTX）、剪辑顺序预测（COP）和循环一致性对齐等目标进行训练，学习视频和文本之间的联合表示。在下游任务中，模型可以直接用于零样本事件识别。

关键创新：论文的关键创新在于提出了以下几个预训练目标：1) 上下文视频-文本对比学习（VTC_CTX）：利用视频的上下文信息，增强模型对局部视频内容的理解。2) 剪辑顺序预测（COP）：通过预测视频剪辑的顺序，提高模型对视频时间结构的理解。3) 循环一致性对齐：通过在同一视频中强制视频-文本匹配的循环一致性，提高表示的连贯性。4) 帧-文本匹配（FTM）：更精细的对齐损失，改善视频帧和文本之间的对齐。

关键设计：VTC_CTX损失函数的设计考虑了视频片段之间的时序关系，通过对比学习的方式，使得相邻的视频片段在特征空间中更加接近。COP任务通过预测视频片段的正确顺序，来学习视频的时间结构信息。循环一致性对齐通过最小化视频到文本再到视频的重构误差，来保证视频和文本表示的一致性。FTM损失函数则直接计算视频帧和文本描述之间的相似度，从而提高对齐精度。具体的网络结构和参数设置在论文中有详细描述，但具体数值未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CliPPER在多个公共手术基准测试中取得了显著的性能提升，包括对手术阶段、步骤、器械和三元组的零样本识别。具体的数据提升幅度在论文中有所体现，但具体数值未知。该模型在零样本设置下表现出色，表明其具有良好的泛化能力，能够适应不同的手术场景。

🎯 应用场景

CliPPER在医疗领域具有广泛的应用前景，例如术中导航、手术机器人辅助、手术技能评估和教学等。通过准确识别手术步骤和器械，可以为医生提供实时的决策支持，提高手术效率和安全性。此外，该模型还可以用于手术视频的自动标注和分析，为医学研究提供数据支持。

📄 摘要（原文）

Video-language foundation models have proven to be highly effective in zero-shot applications across a wide range of tasks. A particularly challenging area is the intraoperative surgical procedure domain, where labeled data is scarce, and precise temporal understanding is often required for complex downstream tasks. To address this challenge, we introduce CliPPER (Contextual Video-Language Pretraining on Long-form Intraoperative Surgical Procedures for Event Recognition), a novel video-language pretraining framework trained on surgical lecture videos. Our method is designed for fine-grained temporal video-text recognition and introduces several novel pretraining strategies to improve multimodal alignment in long-form surgical videos. Specifically, we propose Contextual Video-Text Contrastive Learning (VTC_CTX) and Clip Order Prediction (COP) pretraining objectives, both of which leverage temporal and contextual dependencies to enhance local video understanding. In addition, we incorporate a Cycle-Consistency Alignment over video-text matches within the same surgical video to enforce bidirectional consistency and improve overall representation coherence. Moreover, we introduce a more refined alignment loss, Frame-Text Matching (FTM), to improve the alignment between video frames and text. As a result, our model establishes a new state-of-the-art across multiple public surgical benchmarks, including zero-shot recognition of phases, steps, instruments, and triplets. The source code and pretraining captions can be found at https://github.com/CAMMA-public/CliPPER.