VS-Assistant: Versatile Surgery Assistant on the Demand of Surgeons

📄 arXiv: 2405.08272v1 📥 PDF

作者: Zhen Chen, Xingjian Luo, Jinlin Wu, Danny T. M. Chan, Zhen Lei, Jinqiao Wang, Sebastien Ourselin, Hongbin Liu

分类: cs.CV

发布日期: 2024-05-14

💡 一句话要点

提出VS-Assistant，利用多模态大语言模型实现多功能外科手术辅助

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 手术辅助 混合投影器 函数调用微调 神经外科 手术场景理解 手术器械检测

📋 核心要点

  1. 现有手术辅助算法通常针对单一任务，需要手动组合功能，限制了其在实际手术中的应用。
  2. VS-Assistant利用多模态大语言模型，通过混合投影器和函数调用微调，理解医生意图并执行手术任务。
  3. 实验表明，VS-Assistant在神经外科数据上，比现有MLLM更准确地理解医生意图，并在文本和视觉任务中表现出色。

📝 摘要（中文）

外科手术干预对患者的健康至关重要，许多研究致力于开发先进算法，为外科医生提供理解和决策支持。尽管取得了显著进展，但这些算法通常针对单一特定任务和场景，在实践中需要手动组合不同的功能，从而限制了其适用性。因此，人们期望出现一种智能且多功能的手术助手，能够准确理解外科医生的意图，并相应地执行特定任务以支持手术过程。本文提出了一种多功能手术助手（VS-Assistant），它利用先进的多模态大语言模型（MLLM），能够准确理解外科医生的意图，并按需完成一系列手术理解任务，例如手术场景分析、手术器械检测和分割。具体而言，为了实现卓越的手术多模态理解，我们设计了一个混合投影器（MOP）模块，以对齐VS-Assistant中的手术MLLM，从而平衡自然知识和手术知识。此外，我们设计了一种手术函数调用微调策略，使VS-Assistant能够理解手术意图，从而按需进行一系列手术函数调用，以满足外科医生的需求。在神经外科数据上的大量实验证实，我们的VS-Assistant比现有的MLLM更准确地理解外科医生的意图，从而在文本分析和视觉任务中取得了压倒性的性能。

🔬 方法详解

问题定义：现有手术辅助系统通常是为特定任务设计的，例如器械检测或场景分割，缺乏通用性和灵活性。外科医生需要手动组合多个工具才能完成复杂的手术流程，效率低下且容易出错。因此，需要一个能够理解外科医生意图并自动执行相关任务的通用手术助手。

核心思路：VS-Assistant的核心思路是利用多模态大语言模型（MLLM）的强大能力，将手术场景的视觉信息（例如手术视频帧）和外科医生的指令（例如文本描述）结合起来，从而理解外科医生的意图。通过对MLLM进行针对性的微调，使其具备手术领域的专业知识，并能够根据外科医生的意图调用相应的函数来完成任务。

技术框架：VS-Assistant的整体框架包括以下几个主要模块：1) 视觉编码器：用于提取手术视频帧的视觉特征。2) 文本编码器：用于提取外科医生指令的文本特征。3) 混合投影器（MOP）：用于将视觉特征和文本特征对齐到同一个语义空间，从而实现多模态信息的融合。4) 多模态大语言模型（MLLM）：用于理解融合后的多模态信息，并根据外科医生的意图生成相应的函数调用指令。5) 函数调用模块：用于执行MLLM生成的函数调用指令，例如进行器械检测、场景分割等。

关键创新：VS-Assistant的关键创新在于以下几个方面：1) 混合投影器（MOP）：MOP模块能够有效地将自然语言知识和手术领域的专业知识融合到MLLM中，从而提高MLLM在手术场景下的理解能力。2) 手术函数调用微调策略：通过针对手术任务的函数调用进行微调，使MLLM能够根据外科医生的意图自动调用相应的函数，从而实现自动化手术辅助。

关键设计：MOP模块的设计包括多个投影器，每个投影器负责学习不同类型的特征表示。手术函数调用微调策略采用了一种特殊的损失函数，该损失函数鼓励MLLM生成正确的函数调用指令，并惩罚错误的函数调用指令。具体的网络结构和参数设置在论文中有详细描述，但未在此处明确给出。

📊 实验亮点

实验结果表明，VS-Assistant在神经外科数据集上取得了显著的性能提升。在文本分析和视觉任务中，VS-Assistant的性能均优于现有的MLLM模型。具体的数据指标和对比基线在论文中有详细描述，但未在此处明确给出。总体而言，实验结果验证了VS-Assistant的有效性和优越性。

🎯 应用场景

VS-Assistant具有广泛的应用前景，可用于辅助神经外科、心血管外科等多种手术。它可以帮助外科医生提高手术效率、减少手术失误、降低手术风险。未来，VS-Assistant有望成为手术室中的重要组成部分，为外科医生提供全方位的智能辅助，并最终改善患者的治疗效果。

📄 摘要（原文）

The surgical intervention is crucial to patient healthcare, and many studies have developed advanced algorithms to provide understanding and decision-making assistance for surgeons. Despite great progress, these algorithms are developed for a single specific task and scenario, and in practice require the manual combination of different functions, thus limiting the applicability. Thus, an intelligent and versatile surgical assistant is expected to accurately understand the surgeon's intentions and accordingly conduct the specific tasks to support the surgical process. In this work, by leveraging advanced multimodal large language models (MLLMs), we propose a Versatile Surgery Assistant (VS-Assistant) that can accurately understand the surgeon's intention and complete a series of surgical understanding tasks, e.g., surgical scene analysis, surgical instrument detection, and segmentation on demand. Specifically, to achieve superior surgical multimodal understanding, we devise a mixture of projectors (MOP) module to align the surgical MLLM in VS-Assistant to balance the natural and surgical knowledge. Moreover, we devise a surgical Function-Calling Tuning strategy to enable the VS-Assistant to understand surgical intentions, and thus make a series of surgical function calls on demand to meet the needs of the surgeons. Extensive experiments on neurosurgery data confirm that our VS-Assistant can understand the surgeon's intention more accurately than the existing MLLM, resulting in overwhelming performance in textual analysis and visual tasks. Source code and models will be made public.