DSFedMed: Dual-Scale Federated Medical Image Segmentation via Mutual Distillation Between Foundation and Lightweight Models

📄 arXiv: 2601.16073v1 📥 PDF

作者: Hanwen Zhang, Qiaojin Shen, Yuxi Liu, Yuesheng Zhu, Guibo Luo

分类: cs.CV, cs.DC

发布日期: 2026-01-22

💡 一句话要点

DSFedMed：通过基础模型与轻量级模型互蒸馏实现双尺度联邦医学图像分割

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 医学图像分割 知识蒸馏 基础模型 互学习

📋 核心要点

  1. 现有联邦学习方法难以在医学图像分割中部署大型基础模型，因为其计算需求高、通信开销大、推理成本高。
  2. DSFedMed通过中心化的基础模型和轻量级客户端模型之间的互知识蒸馏，实现了知识的有效传递和模型性能的提升。
  3. 实验结果表明，DSFedMed在保证分割精度的前提下，显著降低了通信成本和推理时间，提升了联邦学习的效率。

📝 摘要（中文）

本文提出了一种双尺度联邦框架DSFedMed，用于医学图像分割，该框架实现了中心化的基础模型和轻量级客户端模型之间的互知识蒸馏。为了支持知识蒸馏，生成了一组高质量的医学图像来替代真实的公共数据集，并提出了一种可学习性引导的样本选择策略，以提高双尺度蒸馏的效率和有效性。这种互蒸馏使得基础模型能够将通用知识传递给轻量级客户端，同时也将客户端特定的见解融入到基础模型的改进中。在五个医学图像分割数据集上的评估表明，与现有的联邦基础模型基线相比，DSFedMed在Dice score上平均提高了2%，同时降低了近90%的通信成本和推理时间。这些结果表明，对于资源受限的联邦部署，DSFedMed具有显著的效率提升和可扩展性。

🔬 方法详解

问题定义：论文旨在解决联邦学习场景下，如何在资源受限的客户端上部署大型基础模型进行医学图像分割的问题。现有方法直接在联邦学习中使用基础模型会导致巨大的通信开销和计算负担，难以实际应用。此外，公共医学图像数据集的缺乏也限制了知识蒸馏的有效性。

核心思路：论文的核心思路是利用知识蒸馏，将中心化的基础模型的通用知识传递给轻量级的客户端模型，同时利用客户端的特定数据来反向提升基础模型。通过这种互蒸馏的方式，可以在保证分割精度的前提下，显著降低客户端的计算负担和通信开销。为了解决公共数据集缺乏的问题，论文还提出了生成高质量医学图像的方法。

技术框架：DSFedMed框架包含一个中心化的基础模型和一个或多个轻量级的客户端模型。框架的主要流程如下：1) 中心服务器利用生成的高质量医学图像训练基础模型；2) 基础模型将知识蒸馏到客户端模型；3) 客户端模型利用本地数据进行微调，并将学习到的知识反馈给基础模型；4) 重复2和3，直到模型收敛。框架中还包含一个可学习性引导的样本选择模块，用于选择对知识蒸馏最有帮助的样本。

关键创新：论文的关键创新在于提出了双尺度互蒸馏的联邦学习框架，该框架能够有效地利用基础模型的通用知识和客户端的特定数据，从而在保证分割精度的前提下，显著降低通信开销和计算负担。此外，生成高质量医学图像的方法和可学习性引导的样本选择策略也是重要的创新点。

关键设计：论文使用生成对抗网络（GAN）生成高质量的医学图像，用于基础模型的预训练和知识蒸馏。可学习性引导的样本选择策略通过计算每个样本的梯度范数来评估其学习难度，并选择学习难度适中的样本进行知识蒸馏。损失函数包括分割损失、知识蒸馏损失和正则化损失。具体的网络结构和参数设置在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DSFedMed在五个医学图像分割数据集上取得了显著的性能提升。与现有的联邦基础模型基线相比，DSFedMed在Dice score上平均提高了2%，同时降低了近90%的通信成本和推理时间。这些结果表明，DSFedMed在保证分割精度的前提下，显著降低了计算负担和通信开销，提升了联邦学习的效率。

🎯 应用场景

DSFedMed框架可以应用于各种医学图像分割任务，例如肿瘤分割、器官分割等。该框架尤其适用于数据分散在多个医疗机构且数据隐私要求高的场景。通过该框架，可以利用大型基础模型的强大能力，同时避免数据泄露的风险，从而提高医学图像分割的精度和效率，辅助医生进行诊断和治疗。

📄 摘要（原文）

Foundation Models (FMs) have demonstrated strong generalization across diverse vision tasks. However, their deployment in federated settings is hindered by high computational demands, substantial communication overhead, and significant inference costs. We propose DSFedMed, a dual-scale federated framework that enables mutual knowledge distillation between a centralized foundation model and lightweight client models for medical image segmentation. To support knowledge distillation, a set of high-quality medical images is generated to replace real public datasets, and a learnability-guided sample selection strategy is proposed to enhance efficiency and effectiveness in dual-scale distillation. This mutual distillation enables the foundation model to transfer general knowledge to lightweight clients, while also incorporating client-specific insights to refine the foundation model. Evaluations on five medical imaging segmentation datasets show that DSFedMed achieves an average 2 percent improvement in Dice score while reducing communication costs and inference time by nearly 90 percent compared to existing federated foundation model baselines. These results demonstrate significant efficiency gains and scalability for resource-limited federated deployments.