FedEFM: Federated Endovascular Foundation Model with Unseen Data

📄 arXiv: 2501.16992v1 📥 PDF

作者: Tuong Do, Nghia Vu, Tudor Jianu, Baoru Huang, Minh Vu, Jionglong Su, Erman Tjiputra, Quang D. Tran, Te-Chuan Chiu, Anh Nguyen

分类: cs.CV

发布日期: 2025-01-28

备注: 8 pages. Accepted to ICRA 2025

💡 一句话要点

FedEFM：用于血管内手术的联邦学习基础模型，解决未见数据问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 血管内手术 图像分割 知识蒸馏 Earth Mover's Distance 未见数据 医学图像分析

📋 核心要点

  1. 血管内手术中导管和导丝的精确分割至关重要，但标记数据稀缺限制了模型性能。
  2. 提出FedEFM，一种基于联邦学习的血管内基础模型，利用知识蒸馏和Earth Mover's Distance处理未见数据。
  3. 实验表明，FedEFM在血管内介入任务中取得了新的state-of-the-art结果，提升了手术精度。

📝 摘要（中文）

在血管内手术中，精确识别X射线图像中的导管和导丝对于降低手术风险至关重要。然而，由于标记数据的有限性，准确分割导管和导丝结构极具挑战。基础模型通过收集相似领域的数据来训练模型，并微调权重以适应下游任务，提供了一种有前景的解决方案。然而，大规模数据收集受到维护患者隐私的限制。本文提出了一种新的方法，在去中心化的联邦学习环境中训练用于血管内介入的基础模型。为了确保训练的可行性，我们使用知识蒸馏框架内的可微Earth Mover's Distance来解决未见数据问题。经过训练后，我们的基础模型的权重为下游任务提供了有价值的初始化，从而提高了特定任务的性能。大量的实验表明，我们的方法实现了新的最先进的结果，有助于血管内介入和机器人辅助血管内手术的进步，同时解决了医疗领域中数据共享的关键问题。

🔬 方法详解

问题定义：血管内手术中，准确分割X射线图像中的导管和导丝至关重要，但现有方法受限于标记数据的稀缺性，难以训练出泛化能力强的模型。此外，直接共享患者数据进行集中式训练会侵犯患者隐私，限制了大规模数据集的构建。

核心思路：论文的核心思路是利用联邦学习，在保护患者隐私的前提下，联合多个医疗机构的数据训练一个血管内手术的基础模型。通过知识蒸馏和可微Earth Mover's Distance (EMD) 来解决联邦学习中各机构数据分布差异带来的“未见数据”问题，提升模型的泛化能力。

技术框架：FedEFM的整体框架是一个联邦学习系统，包含多个客户端（医疗机构）和一个服务器。每个客户端使用本地数据训练模型，并将模型更新上传到服务器。服务器聚合这些更新，生成全局模型，并将全局模型分发给客户端。为了解决数据异构性问题，客户端使用知识蒸馏，将全局模型的知识迁移到本地模型。同时，使用可微EMD来衡量不同客户端数据分布的差异，并将其作为正则化项加入损失函数中。

关键创新：论文的关键创新在于将可微EMD引入联邦学习框架，用于解决“未见数据”问题。传统的联邦学习方法通常假设各客户端的数据分布相似，但在医疗领域，不同机构的数据往往存在显著差异。通过EMD，模型可以学习到不同数据分布之间的距离，从而更好地适应未见数据。

关键设计：论文使用U-Net作为基础分割模型。损失函数包含三部分：分割损失（Dice loss或Cross-Entropy loss）、知识蒸馏损失（衡量本地模型和全局模型输出的差异）和EMD正则化项（惩罚不同客户端数据分布的差异）。EMD的计算通过Sinkhorn算法实现，使其可微，从而可以进行端到端训练。客户端和服务器之间通过安全聚合协议进行通信，保护模型更新的隐私。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedEFM在血管内介入任务中取得了state-of-the-art的结果。与传统的集中式训练方法相比，FedEFM在保护患者隐私的同时，实现了更高的分割精度。与现有的联邦学习方法相比，FedEFM通过引入可微EMD，显著提升了模型在未见数据上的泛化能力。

🎯 应用场景

该研究成果可应用于血管内介入手术的导管和导丝自动分割，提高手术精度和效率，降低手术风险。此外，该方法还可推广到其他医学图像分析任务，例如病灶检测、器官分割等。未来，结合机器人技术，有望实现更智能、更精准的机器人辅助血管内手术。

📄 摘要（原文）

In endovascular surgery, the precise identification of catheters and guidewires in X-ray images is essential for reducing intervention risks. However, accurately segmenting catheter and guidewire structures is challenging due to the limited availability of labeled data. Foundation models offer a promising solution by enabling the collection of similar domain data to train models whose weights can be fine-tuned for downstream tasks. Nonetheless, large-scale data collection for training is constrained by the necessity of maintaining patient privacy. This paper proposes a new method to train a foundation model in a decentralized federated learning setting for endovascular intervention. To ensure the feasibility of the training, we tackle the unseen data issue using differentiable Earth Mover's Distance within a knowledge distillation framework. Once trained, our foundation model's weights provide valuable initialization for downstream tasks, thereby enhancing task-specific performance. Intensive experiments show that our approach achieves new state-of-the-art results, contributing to advancements in endovascular intervention and robotic-assisted endovascular surgery, while addressing the critical issue of data sharing in the medical domain.