Towards Interpretable Foundation Models for Retinal Fundus Images

📄 arXiv: 2603.18846v1 📥 PDF

作者: Samuel Ofosu Mensah, Maria Camila Roa Carvajal, Kerol Djoumessi, Philipp Berens

分类: cs.CV, cs.LG, stat.CO

发布日期: 2026-03-19

备注: 11 pages, 3 figures, 2 tables, submitted to MICCAI 2026

💡 一句话要点

提出Dual-IFM，用于视网膜眼底图像的可解释性基础模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 可解释性AI 基础模型 视网膜眼底图像 自监督学习 医学影像分析 类别证据图 2D投影

📋 核心要点

  1. 现有基础模型在医学图像领域可解释性不足，限制了其在高风险场景的应用。
  2. Dual-IFM通过类别证据图提供局部可解释性，并通过2D投影层实现全局可解释性。
  3. 实验表明，Dual-IFM在保持竞争力的同时，对分布外数据具有可解释的预测能力。

📝 摘要（中文）

基础模型通常通过自监督学习(SSL)从大量未标记数据中提取可迁移的表示。然而，许多此类模型依赖于可解释性有限的架构，这在医疗成像等高风险领域是一个关键问题。我们提出了Dual-IFM，这是一种在设计上具有可解释性的基础模型，体现在两个方面：首先，它通过忠实于决策过程的类别证据图，为单个图像提供局部可解释性。其次，它通过一个2D投影层为整个数据集提供全局可解释性，从而可以直接可视化模型的表示空间。我们使用来自各种来源的超过80万张彩色眼底照片训练了我们的模型，以学习针对不同下游任务的通用、可解释的表示。结果表明，我们的模型达到了与参数数量高达16倍的state-of-the-art基础模型相似的性能范围，同时提供了对分布外数据的可解释预测。我们的结果表明，大规模SSL预训练与内在可解释性相结合可以为视网膜成像带来鲁棒的表示。

🔬 方法详解

问题定义：论文旨在解决现有视网膜眼底图像基础模型可解释性差的问题。现有方法通常采用复杂的深度学习架构，虽然性能优异，但缺乏透明度，难以理解模型的决策过程，这在医疗诊断等领域是不可接受的。因此，需要一种既能保持高性能，又能提供可解释性的视网膜眼底图像基础模型。

核心思路：论文的核心思路是通过设计具有内在可解释性的模型架构来实现可解释性。具体来说，Dual-IFM模型通过类别证据图提供局部可解释性，使用户能够理解模型对单个图像的决策依据；同时，通过2D投影层实现全局可解释性，使用户能够可视化整个数据集的表示空间，从而更好地理解模型的学习模式。

技术框架：Dual-IFM的技术框架主要包括以下几个模块：1) 一个用于提取图像特征的卷积神经网络（CNN） backbone；2) 一个用于生成类别证据图的模块，该模块将特征图映射到每个类别的证据图；3) 一个2D投影层，用于将高维特征映射到二维空间，以便可视化。整个流程包括使用大规模眼底图像数据集进行自监督预训练，然后针对特定下游任务进行微调。

关键创新：Dual-IFM最重要的技术创新点在于其“interpretable-by-design”的设计理念，即在模型架构设计之初就考虑了可解释性。与事后解释方法不同，Dual-IFM通过类别证据图和2D投影层，直接将可解释性融入到模型的决策过程中。这种设计使得模型不仅能够做出准确的预测，还能够提供对预测结果的合理解释。

关键设计：Dual-IFM的关键设计包括：1) 类别证据图的生成方式，需要保证证据图能够准确反映模型对不同类别的置信度；2) 2D投影层的设计，需要保证投影后的二维空间能够尽可能地保留原始高维特征的信息，同时便于可视化；3) 自监督预训练策略的选择，需要保证模型能够学习到对下游任务有用的通用特征。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Dual-IFM在视网膜眼底图像分类任务上取得了与state-of-the-art基础模型相当的性能，同时提供了可解释的预测结果。值得注意的是，Dual-IFM在参数量远小于其他模型（最高达16倍）的情况下，依然能够保持竞争力，这表明其在可解释性和效率之间取得了良好的平衡。此外，Dual-IFM在分布外数据上表现出良好的泛化能力，进一步验证了其鲁棒性。

🎯 应用场景

该研究成果可应用于眼科疾病的辅助诊断，帮助医生更好地理解AI模型的诊断结果，提高诊断的准确性和可靠性。此外，该方法也可推广到其他医学影像领域，例如X光、CT等，为构建可信赖的医疗AI系统奠定基础。未来，该研究有望促进AI技术在医疗领域的广泛应用，改善患者的诊疗体验。

📄 摘要（原文）

Foundation models are used to extract transferable representations from large amounts of unlabeled data, typically via self-supervised learning (SSL). However, many of these models rely on architectures that offer limited interpretability, which is a critical issue in high-stakes domains such as medical imaging. We propose Dual-IFM, a foundation model that is interpretable-by-design in two ways: First, it provides local interpretability for individual images through class evidence maps that are faithful to the decision-making process. Second, it provides global interpretability for entire datasets through a 2D projection layer that allows for direct visualization of the model's representation space. We trained our model on over 800,000 color fundus photography from various sources to learn generalizable, interpretable representations for different downstream tasks. Our results show that our model reaches a performance range similar to that of state-of-the-art foundation models with up to $16\times$ the number of parameters, while providing interpretable predictions on out-of-distribution data. Our results suggest that large-scale SSL pretraining paired with inherent interpretability can lead to robust representations for retinal imaging.