Self-supervision drives representational convergence in medical foundation models more than clinical supervision
作者: Soroosh Tayebi Arasteh, Sebastian Ziegelmayer, Mahshad Lotfinia, Lisa Adams, Sven Nebelung, Jakob Nikolas Kather, Daniel Truhn
分类: cs.CV, cs.AI, cs.CL, cs.LG
发布日期: 2026-07-22
💡 一句话要点
提出自监督学习以提升医学基础模型的表示收敛性
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 医学图像 自监督学习 表示收敛 编码器 临床监督 迁移学习 多模态学习
📋 核心要点
- 现有医学图像编码器的表示收敛性假设缺乏实证支持，且临床监督的作用尚不明确。
- 通过控制实验，论文探讨了不同训练目标对编码器表示收敛性的影响，强调自监督学习的重要性。
- 实验结果显示，自监督编码器的对齐程度显著高于其他类型编码器，且与规模无关，表明预训练目标在医学成像中的关键作用。
📝 摘要（中文）
医学图像编码器逐渐被视为可互换，假设规模和临床监督将其表示集中于共享结构。然而，这种收敛性是否真实、产生原因及其临床可用性尚未得到验证。本文通过对18个图像和7个文本编码器的控制性分析，探讨了自监督目标对收敛性的影响。结果表明，自监督编码器的对齐程度显著高于标签监督和图像-文本编码器，且收敛性主要由自监督目标驱动，而非临床监督。尽管收敛性在不同医院间的迁移表现良好，但未能达到临床语言的标准。
🔬 方法详解
问题定义：本文旨在探讨医学图像编码器的表示收敛性及其驱动因素，现有方法对临床监督的依赖性未得到充分验证，导致对收敛性的理解存在不足。
核心思路：通过对不同目标下的编码器进行控制性训练，论文揭示了自监督学习在表示收敛性中的主导作用，强调设计时应考虑自监督目标。
技术框架：研究涉及18个图像编码器和7个文本编码器，涵盖多种成像模态，使用650,982个胸部X光图像进行训练。实验通过固定数据、架构和规模，仅改变训练目标来进行对比分析。
关键创新：最重要的创新在于证明了自监督目标在医学图像编码器中的收敛性优于临床监督，且这种收敛性不受模型规模的影响。
关键设计：实验中使用了多种编码器架构，设置了不同的训练目标（自监督、标签监督、图像-文本），并通过Spearman相关性分析评估收敛性，确保实验的严谨性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，自监督编码器在胸部X光图像上的对齐程度达到40.4%，显著高于标签监督（21.1%）和图像-文本编码器（3.3%）。此外，线性分类器在不同编码器及五个独立医院间的迁移性能保持约85%的表现，验证了自监督目标的重要性。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、临床决策支持系统和医疗数据共享平台。通过优化编码器的训练目标，可以提升不同医院间医学图像的互操作性，促进跨机构的协作与研究。未来，该方法可能推动医学影像领域的标准化与智能化进程。
📄 摘要（原文）
Medical image encoders from different groups are increasingly treated as interchangeable, on the assumption that scale and clinical supervision concentrate their representations onto a shared structure. Whether this convergence is real, what produces it, and whether it is clinically usable are untested, and the similarity measures behind such claims are fragile. We present a controlled dissection across 18 image and 7 text encoders, all open-weight and run locally, spanning 7M to 27B parameters and five imaging modalities, including 650,982 chest radiographs from six datasets. To isolate cause, we train encoders that vary only the objective under fixed data, architecture, and scale, and reproduce the effect in a synthetic model. Convergence is modest but above a random floor, driven by the self-supervised objective, not clinical supervision: matched self-supervised encoders aligned most (40.4% on chest radiography), with label-supervised (21.1%) and image-text (3.3%) far lower, and did not grow with size (Spearman 0.302, p=0.223) or capability. It is within-modality, does not reach clinical language, and does not reproduce how radiologists judge case similarity. Yet a linear classifier transfers across encoders and to five held-out hospitals, retaining about 85% of within-encoder performance. Convergence in medical imaging is therefore set by the pretraining objective, not inherited from scale or clinical supervision. Interoperability is accordingly something to design for through that objective, and to validate where the shared geometry is weakest, across patient subgroups and against clinical judgment.