Med-RADIO: Reducing All Medical Domains Into One via Multi-Teacher Distillation

📄 arXiv: 2609.37682v1 📥 PDF

作者: Chu Zhang, Haoyu Jiang, Hongyuan Zhang, Hongbin Liu, Dong Yi

分类: cs.CV

发布日期: 2026-09-29

🔗 代码/项目: GITHUB

💡 一句话要点

提出Med-RADIO框架以整合多模态医学知识

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 医学图像处理 多模态学习 知识蒸馏 通用模型 专用模型 深度学习 医学基础模型

📋 核心要点

  1. 现有医学通用模型在训练数据规模和领域特定深度上均不及专用模型，导致性能提升受限。
  2. 提出Med-RADIO框架，通过多教师蒸馏整合不同模态的知识，提升医学通用模型的性能。
  3. 在五种模态的分类基准测试中，Med-RADIO在线性探测下超越了强大的医学通用模型，并与专用模型竞争。

📝 摘要（中文）

随着大规模医学数据集和计算资源的快速扩展，医学基础模型取得了显著进展。现有研究主要分为针对特定模态的专用模型和处理多种模态的通用模型。然而，通用模型在训练数据规模和领域特定深度上均不及专用模型。为提升通用模型的性能基线，本文提出了Med-RADIO，一个通过多教师蒸馏框架将多个领域特定教师的知识压缩为统一医学视觉基础模型的方法。该方法整合了通用和专用教师，优化了蒸馏过程，并在多个模态的分类基准测试中表现出色，超越了强大的医学通用模型，并在大多数评估模态中与代表性专用模型保持竞争力。

🔬 方法详解

问题定义：本文旨在解决医学图像模态的异质性问题，现有的医学通用模型在数据规模和领域深度上存在不足，导致性能无法达到专用模型的水平。

核心思路：Med-RADIO框架通过多教师蒸馏，将多个领域特定教师的知识整合到一个统一的医学视觉基础模型中，以提升通用模型的性能基线。

技术框架：该框架包括教师模型的选择、模态对齐的蒸馏流的分配，以及平衡损失的设计，以防止单一教师主导蒸馏过程。

关键创新：最重要的创新在于通过整合通用和专用教师的知识，重新组织通用预训练数据，使其更好地匹配专用领域，从而提升模型的整体性能。

关键设计：在损失函数设计上，采用了平衡损失，以确保不同教师的知识能够均衡贡献，避免模型对某一教师的过度依赖。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在五种不同模态的分类基准测试中，Med-RADIO在性能上超越了强大的医学通用模型，并在大多数评估模态中与代表性专用模型保持竞争力，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括医学影像分析、疾病诊断和治疗方案优化等。通过整合多模态医学知识，Med-RADIO能够提高医学图像处理的准确性和效率，未来可能在临床实践中发挥重要作用。

📄 摘要（原文）

The rapid expansion of large-scale medical datasets and computational resources has driven significant progress in medical foundation models. Given the inherent heterogeneity of medical imaging modalities, current research mainly follows two paths: specialized models optimized for specific modalities, and generalist models designed to handle multiple modalities. However, medical generalist models suffer from both insufficient training data scale relative to natural image generalists and inadequate domain-specific depth relative to medical specialists. Empirically, generalist models establish a cross-modality performance baseline, while specialists define the performance ceiling within their respective domains. To elevate this baseline toward these ceilings, we propose Med-RADIO, a medical multi-teacher distillation framework that Reduces All Domains Into One by compressing complementary expertise from multiple domain-specific teachers into a unified medical vision foundation model. Our method curates both generalist and specialist teachers, allocates modality-aligned distillation streams to reorganize generalist pretraining data so it matches specialist domains, and uses a balanced loss to prevent any single teacher from dominating the distillation process. On internal and external classification benchmarks spanning five modalities, Med-RADIO improves over strong medical generalists under linear probing and remains competitive with representative specialists on most evaluated modalities. Code is available at https://github.com/CAIR-HKISI/Med-RADIO.