Surgical-VQLA++: Adversarial Contrastive Learning for Calibrated Robust Visual Question-Localized Answering in Robotic Surgery

📄 arXiv: 2408.04958v2 📥 PDF

作者: Long Bai, Guankun Wang, Mobarakol Islam, Lalithkumar Seenivasan, An Wang, Hongliang Ren

分类: cs.CV, cs.RO

发布日期: 2024-08-09 (更新: 2024-09-01)

备注: Accepted by Information Fusion. Code and data availability: https://github.com/longbai1006/Surgical-VQLAPlus

💡 一句话要点

提出Surgical-VQLA++，通过对抗对比学习实现手术机器人视觉问答定位的校准鲁棒性。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉问答 手术机器人 对抗学习 对比学习 多模态融合 视觉定位 鲁棒性 医学图像处理

📋 核心要点

  1. 现有VQA模型无法精确定位与问题相关的图像区域，导致对手术场景理解不完整，限制了其在手术辅助中的应用。
  2. 提出Surgical-VQLA++，利用校准协同注意力门控视觉语言嵌入(C$^2$G-ViL)整合多模态信息，并结合对抗对比学习提高模型鲁棒性。
  3. 在EndoVis-18-VQLA和EndoVis-17-VQLA数据集上的实验表明，该方法具有显著的性能和鲁棒性，能有效应对图像损坏。

📝 摘要（中文）

医学视觉问答(VQA)弥合了视觉信息和临床决策之间的差距，使医生能够从临床图像和视频中提取理解。特别是，手术VQA可以增强对手术数据的解释，从而有助于准确的诊断、有效的教育和临床干预。然而，VQA模型无法在视觉上指示与给定问题相对应的感兴趣区域，导致对手术场景的理解不完整。为了解决这个问题，我们提出了手术视觉问题定位回答(VQLA)，用于对关于手术图像的特定查询进行精确和上下文感知的响应。此外，为了满足手术场景中对安全性的强烈需求以及图像采集和传输中潜在的损坏，我们提出了一种称为校准协同注意力门控视觉语言(C$^2$G-ViL)嵌入的新方法，以有效地整合和对齐多模态信息。此外，我们利用基于对抗样本的对比学习策略来提高我们的性能和鲁棒性。我们还扩展了我们的EndoVis-18-VQLA和EndoVis-17-VQLA数据集，以扩大我们数据的范围和应用。在上述数据集上进行的大量实验证明了我们解决方案的卓越性能和鲁棒性。我们的解决方案可以有效地对抗现实世界的图像损坏。因此，我们提出的方法可以作为辅助手术教育、患者护理和提高手术效果的有效工具。

🔬 方法详解

问题定义：论文旨在解决手术机器人视觉问答定位(VQLA)问题，即给定手术图像和问题，模型不仅要给出答案，还要在图像中定位与问题相关的区域。现有VQA模型在手术场景中存在定位不准确、鲁棒性差的问题，容易受到图像噪声和对抗攻击的影响。

核心思路：论文的核心思路是利用校准协同注意力机制有效融合视觉和语言信息，并通过对抗对比学习提高模型的鲁棒性。通过对抗样本训练，模型能够学习到对图像扰动不敏感的特征表示，从而提高在真实手术场景中的可靠性。

技术框架：Surgical-VQLA++框架主要包含以下几个模块：1) 视觉特征提取模块：用于提取手术图像的视觉特征。2) 语言特征提取模块：用于提取问题的语言特征。3) 校准协同注意力门控视觉语言嵌入(C$^2$G-ViL)：用于融合视觉和语言特征，并进行校准。4) 答案预测模块：基于融合后的特征预测答案。5) 定位预测模块：基于融合后的特征预测与问题相关的图像区域。6) 对抗对比学习模块：通过生成对抗样本并进行对比学习，提高模型的鲁棒性。

关键创新：论文的关键创新在于提出了C$^2$G-ViL嵌入和对抗对比学习策略。C$^2$G-ViL嵌入能够更有效地融合视觉和语言信息，并进行校准，提高模型的准确性。对抗对比学习策略能够提高模型的鲁棒性，使其能够更好地应对图像噪声和对抗攻击。与现有方法相比，Surgical-VQLA++在准确性和鲁棒性方面都有显著提升。

关键设计：C$^2$G-ViL嵌入采用了协同注意力机制，能够同时关注视觉和语言信息，并进行交互。校准机制用于减少视觉和语言特征之间的偏差。对抗对比学习采用了基于梯度的方法生成对抗样本，并使用InfoNCE损失进行对比学习。具体参数设置和网络结构细节在论文中有详细描述，例如损失函数的权重，注意力头的数量等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在EndoVis-18-VQLA和EndoVis-17-VQLA数据集上进行了大量实验，结果表明Surgical-VQLA++在准确性和鲁棒性方面均优于现有方法。尤其是在对抗攻击和图像损坏的情况下，Surgical-VQLA++的性能下降幅度明显小于其他方法，证明了其强大的鲁棒性。具体性能数据和对比基线在论文中有详细展示。

🎯 应用场景

该研究成果可应用于手术机器人辅助系统，帮助医生更准确地理解手术场景，提高诊断和手术决策的效率。此外，该技术还可用于手术教学和培训，为医学生提供更直观、更有效的学习工具。未来，该技术有望进一步推广到远程医疗和智能医疗领域，提升医疗服务的质量和可及性。

📄 摘要（原文）

Medical visual question answering (VQA) bridges the gap between visual information and clinical decision-making, enabling doctors to extract understanding from clinical images and videos. In particular, surgical VQA can enhance the interpretation of surgical data, aiding in accurate diagnoses, effective education, and clinical interventions. However, the inability of VQA models to visually indicate the regions of interest corresponding to the given questions results in incomplete comprehension of the surgical scene. To tackle this, we propose the surgical visual question localized-answering (VQLA) for precise and context-aware responses to specific queries regarding surgical images. Furthermore, to address the strong demand for safety in surgical scenarios and potential corruptions in image acquisition and transmission, we propose a novel approach called Calibrated Co-Attention Gated Vision-Language (C$^2$G-ViL) embedding to integrate and align multimodal information effectively. Additionally, we leverage the adversarial sample-based contrastive learning strategy to boost our performance and robustness. We also extend our EndoVis-18-VQLA and EndoVis-17-VQLA datasets to broaden the scope and application of our data. Extensive experiments on the aforementioned datasets demonstrate the remarkable performance and robustness of our solution. Our solution can effectively combat real-world image corruption. Thus, our proposed approach can serve as an effective tool for assisting surgical education, patient care, and enhancing surgical outcomes.