An Approach to Enriching Surgical Video Datasets for Fine-Grained Spatial-Temporal Understanding of Vision-Language Models

📄 arXiv: 2604.00784v1 📥 PDF

作者: Lennart Maack, Alexander Schlaefer

分类: cs.CV

发布日期: 2026-04-01

💡 一句话要点

提出SurgSTU-Pipeline，用于生成精细化手术视频时空理解数据集，提升VLM性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 手术视频理解 视觉-语言模型 时空理解 数据集生成 计算机辅助手术

📋 核心要点

  1. 现有手术视觉-语言数据集难以捕捉复杂的手术时空动态，限制了VLM在手术领域的应用。
  2. SurgSTU-Pipeline通过时空连续性过滤，确定性地生成高质量手术视频问答数据集，无需昂贵的人工标注。
  3. 实验表明，SurgSTU数据集能有效提升VLM在手术视频时空理解方面的性能，尤其是在精细化任务上。

📝 摘要（中文）

手术视频理解是推进计算机辅助手术的关键前提。尽管视觉-语言模型(VLM)已被应用于手术领域，但现有的手术视觉-语言数据集在捕捉和评估复杂的、交错的时空动态方面存在不足。由于昂贵的手动标注或使用大型语言模型生成时容易出错，创建能够准确表示手术视频中精细时空关系的大规模数据集具有挑战性。为了解决这个问题，我们引入了SurgSTU-Pipeline，这是一个确定性的生成流程，具有时间和空间连续性过滤功能，可以可靠地创建用于精细时空多模态理解的手术数据集。通过将该流程应用于公开的手术数据集，我们创建了SurgSTU数据集，该数据集包含7515个视频片段，并密集地扩展了15万个精细的时空问答样本。我们的综合评估表明，虽然最先进的通用VLM在零样本设置中表现不佳，但可以通过上下文学习来提高其时空能力。在SurgSTU训练数据集上微调的VLM在所有时空任务中都取得了最高的性能，验证了该数据集在提高VLM对手术视频时空理解方面的有效性。代码将会公开。

🔬 方法详解

问题定义：论文旨在解决手术视频领域缺乏高质量、精细化的时空理解数据集的问题。现有方法依赖于昂贵的人工标注或容易出错的大型语言模型生成，难以满足VLM训练的需求，尤其是在理解手术过程中复杂的时空关系方面存在不足。

核心思路：论文的核心思路是设计一个确定性的数据生成流程，即SurgSTU-Pipeline，该流程能够自动生成高质量的手术视频问答数据集。通过引入时间和空间连续性过滤，确保生成的数据具有较高的可靠性和一致性，从而避免了人工标注的成本和大型语言模型生成的不确定性。

技术框架：SurgSTU-Pipeline主要包含以下几个阶段：1) 从公开手术视频数据集中提取视频片段；2) 利用预训练模型（具体模型未知）提取视频片段的视觉特征；3) 基于视觉特征，生成相应的时空问答对；4) 应用时间和空间连续性过滤，筛选高质量的问答对，最终构建SurgSTU数据集。

关键创新：该论文的关键创新在于提出了一个确定性的数据生成流程SurgSTU-Pipeline，该流程能够自动生成高质量的手术视频问答数据集，无需人工标注。通过时空连续性过滤，保证了生成数据的可靠性和一致性，这与以往依赖人工标注或大型语言模型生成的方法有本质区别。

关键设计：论文中关于时空连续性过滤的具体实现细节未知，包括如何定义和度量时间和空间连续性，以及如何设置过滤阈值。此外，用于生成问答对的具体模型和损失函数也未详细说明。这些细节对于复现该方法至关重要，但论文中并未提供足够的信息。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，在SurgSTU数据集上微调的VLM在所有时空任务中都取得了最高的性能，验证了该数据集的有效性。虽然通用VLM在零样本设置下表现不佳，但通过上下文学习可以显著提高其时空能力。具体性能数据和提升幅度未在摘要中明确给出，需要在论文正文中查找。

🎯 应用场景

该研究成果可应用于计算机辅助手术领域，提升手术机器人的智能化水平，例如，辅助医生进行手术操作、提供手术导航、进行手术风险评估等。高质量的手术视频数据集能够促进VLM在手术领域的应用，最终提高手术效率和安全性。

📄 摘要（原文）

Surgical video understanding is a crucial prerequisite for advancing Computer-Assisted Surgery. While vision-language models (VLMs) have recently been applied to the surgical domain, existing surgical vision-language datasets lack in capturing and evaluating complex, interleaved spatial-temporal dynamics. Creating large scale datasets that accurately represent fine-grained spatial-temporal relationships in surgical videos is challenging due to costly manual annotations or error-prone generation using large language models. To address this gap, we introduce the SurgSTU-Pipeline, a deterministic generation pipeline featuring temporal and spatial continuity filtering to reliably create surgical datasets for fine-grained spatial-temporal multimodal understanding. Applying this pipeline to publicly available surgical datasets, we create the SurgSTU dataset, comprising 7515 video clips densely extended with 150k fine-grained spatial-temporal question-answer samples. Our comprehensive evaluation shows that while state-of-the-art generalist VLMs struggle in zero-shot settings, their spatial-temporal capabilities can be improved through in-context learning. A fine-tuned VLM on the SurgSTU training dataset achieves highest performance among all spatial-temporal tasks, validating the dataset's efficacy to improve spatial-temporal understanding of VLMs in surgical videos. Code will be made publicly available.