Semantic RGB--Depth Based Surgical Skill Assessment in Microscopic Stereo Videos
作者: Jecia Z. Y. Mao, Sue M. Cho, Francis X. Creighton, Deepa Galaiya, Russell H. Taylor, Manish Sahu
分类: cs.CV
发布日期: 2026-10-01
💡 一句话要点
提出语义RGB-深度框架以解决显微外科技能评估问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting)
关键词: 显微外科 技能评估 深度学习 多模态融合 层次注意力机制 视频分析 医学图像处理
📋 核心要点
- 现有视频评估方法主要依赖RGB图像，忽视了三维空间关系，导致外科技能评估的准确性不足。
- 提出了一种语义RGB-深度框架，通过回归深度融合方法生成密集几何表示，以提高技能评估的准确性。
- 在33例手术中，模型的F1分数达到0.938，相较于传统方法有显著提升，表明几何信息的重要性。
📝 摘要（中文）
显微外科技术技能的客观评估对于基于能力的培训和质量保证至关重要。然而，现有视频评估方法主要依赖RGB图像，忽视了表征器械与解剖结构交互的三维空间关系。尽管立体手术显微镜提供了补充的深度信息，但传统的立体匹配算法在高放大成像条件下产生稀疏且不可靠的深度估计，限制了其在自动技能评估中的应用。本文提出了一种基于语义RGB-深度的框架，用于从显微立体视频中评估外科技能。通过回归深度融合方法，将稀疏的度量立体深度与密集的单目深度估计相结合，生成手术场景的密集几何表示，并与对应于各个外科器械和周围解剖结构的语义分解RGB流集成。该框架在33例由六名外科医生进行的离体经口显微喉部手术中进行了评估，结果显示该模型在技能水平分类中取得了0.938的F1分数，表明几何信息可以提升显微立体视频的自动外科技能评估。
🔬 方法详解
问题定义：本文旨在解决现有显微外科技能评估方法中对三维空间关系的忽视，尤其是在高放大成像条件下深度估计的不可靠性。
核心思路：通过结合稀疏的立体深度和密集的单目深度估计，生成手术场景的密集几何表示，并与语义分解的RGB流结合，以捕捉器械与解剖结构的交互模式。
技术框架：整体架构包括深度融合模块、语义分解模块和层次注意力机制。深度融合模块负责生成几何表示，语义分解模块提取器械和解剖结构的语义信息，层次注意力机制则用于编码这些信息。
关键创新：提出的语义RGB-深度框架通过深度融合和层次注意力机制的结合，显著提升了外科技能评估的准确性，克服了传统方法的局限性。
关键设计：在模型设计中，采用回归损失函数来优化深度融合效果，并设计了层次注意力网络以增强对重要特征的关注，确保模型能够有效捕捉技能评估中的关键模式。
🖼️ 关键图片
📊 实验亮点
实验结果显示，提出的语义RGB-深度模型在技能水平分类中取得了0.938的F1分数，相较于传统的语义RGB（0.696）和语义深度（0.929）方法有显著提升，表明几何信息在自动外科技能评估中的重要性。
🎯 应用场景
该研究的潜在应用领域包括外科培训、手术技能评估和医疗质量控制。通过提供更准确的技能评估工具，能够帮助培训机构提高外科医生的培训效果，进而提升手术安全性和患者的治疗效果。未来，该框架还可扩展至其他类型的手术视频分析。
📄 摘要（原文）
Objective assessment of microsurgical technical skill is essential for competency-based training and quality assurance, yet existing video-based approaches predominantly rely on RGB images and therefore overlook the 3D spatial relationships that characterize instrument-anatomy interactions. Although stereo operating microscopes provide complementary depth information, conventional stereo matching algorithms can produce sparse and unreliable depth estimates under high-magnification imaging conditions, limiting their use for automated skill assessment. This work presents a semantic RGB-Depth framework for surgical skill assessment from microscopic stereo videos. A regression-based depth fusion method combines sparse metric stereo depth with dense monocular depth estimates to generate a dense geometric representation of the surgical scene. This representation is integrated with semantically decomposed RGB streams corresponding to individual surgical instruments and surrounding anatomy. A hierarchical attention architecture jointly encodes these streams to capture discriminative patterns of instrument use and instrument-anatomy interaction across surgeons at different training levels. The framework was evaluated on 33 ex vivo transoral microlaryngeal procedures performed by six surgeons, comprising attending surgeons and surgical residents, using leave-one-surgeon-out cross-validation. The proposed semantic RGB-Depth model achieved an F1 score of 0.938 for skill-level classification, compared with 0.696 for semantic RGB and 0.929 for semantic depth. These results suggest that geometric information can improve automated surgical skill assessment from microscopic stereo videos. The learned spatial, temporal, and semantic attention patterns also support qualitative examination of the scene regions, video segments, and semantic streams emphasized by the model.