Is Dataset Quality Still a Concern in Diagnosis Using Large Foundation Model?

📄 arXiv: 2405.12584v1 📥 PDF

作者: Ziqin Lin, Heng Li, Zinan Li, Huazhu Fu, Jiang Liu

分类: eess.IV, cs.CV, cs.LG

发布日期: 2024-05-21

备注: 10 pages, 6 figures

💡 一句话要点

研究表明：大型预训练模型在眼底诊断中对数据集质量具有更强的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型预训练模型 眼底图像诊断 数据集质量 鲁棒性 自监督学习 Vision Transformer 医学图像处理

📋 核心要点

  1. 深度学习模型易受数据集质量影响，如图像质量差和数据集偏差，这限制了其在医学图像诊断中的应用。
  2. 该研究探索了大型预训练模型（LFM）在眼底诊断中对数据集质量的鲁棒性，并研究了微调技术缓解这些影响的能力。
  3. 实验结果表明，LFM比传统卷积网络对数据集质量问题更具鲁棒性，并且全局微调可以有效缓解数据集质量的影响。

📝 摘要（中文）

近年来，预训练大型基础模型（LFM）在自然语言处理和计算机视觉等领域取得了显著突破。这些模型在医学诊断任务中表现出巨大的潜力。本文利用Vision Transformer (VIT)和自监督学习框架，开发了一个用于眼底图像的LFM，并在多个数据集上展示了其在眼底疾病诊断方面的优异性能。然而，深度学习模型长期以来一直受到数据集质量问题（如图像质量和数据集偏差）的困扰。为了研究数据质量对LFM的影响，我们使用不同质量的数据集在两个眼底诊断任务中进行了探索，重点关注LFM对图像质量的鲁棒性、数据集偏差的影响以及微调技术缓解这些影响的能力。研究结果表明，与典型的卷积网络相比，LFM对包括图像质量和数据集偏差在内的数据集质量问题表现出更强的鲁棒性。此外，我们发现全局微调是LFM缓解数据集质量问题影响的有效适配器。

🔬 方法详解

问题定义：论文旨在解决眼底图像诊断中，数据集质量（如图像模糊、噪声、光照不均以及数据集偏差）对深度学习模型性能的影响问题。现有方法，特别是基于卷积神经网络的模型，容易受到这些因素的干扰，导致诊断准确率下降。

核心思路：论文的核心思路是利用大型预训练模型（LFM）强大的特征提取能力和泛化能力，减轻数据集质量对模型性能的影响。LFM通过在大规模无标注数据上进行预训练，学习到更鲁棒的图像表示，从而在面对低质量数据时也能保持较好的性能。此外，通过微调技术，可以进一步使LFM适应特定任务，并缓解数据集偏差的影响。

技术框架：整体框架包括以下几个阶段：1) 使用Vision Transformer (VIT)构建LFM；2) 在大规模眼底图像数据集上进行自监督预训练；3) 使用不同质量的眼底图像数据集进行诊断任务的评估，包括图像质量和数据集偏差两个方面；4) 对LFM进行全局微调，并评估微调后模型在不同质量数据集上的性能。

关键创新：论文的关键创新在于验证了大型预训练模型在医学图像诊断领域对数据集质量的鲁棒性。以往的研究更多关注如何提高模型在高质量数据集上的性能，而忽略了实际应用中数据集质量参差不齐的问题。该研究表明，LFM能够有效应对这一挑战，降低了对数据质量的要求。

关键设计：论文的关键设计包括：1) 使用Vision Transformer作为LFM的基础架构，利用其强大的全局建模能力；2) 采用自监督学习方法进行预训练，充分利用大规模无标注数据；3) 设计了针对图像质量和数据集偏差的评估方案，全面考察LFM的鲁棒性；4) 使用全局微调作为适配器，调整LFM以适应特定任务和数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LFM在眼底疾病诊断任务中，相较于传统卷积神经网络，对图像质量和数据集偏差具有更强的鲁棒性。具体来说，即使在低质量图像上，LFM的诊断准确率也明显高于传统模型。此外，通过全局微调，LFM能够进一步缓解数据集质量问题的影响，提升诊断性能。这些结果验证了LFM在实际应用中的潜力。

🎯 应用场景

该研究成果可应用于眼科疾病的辅助诊断，尤其是在数据质量受限的场景下，例如偏远地区或资源匮乏的医疗机构。通过使用对数据质量具有更强鲁棒性的LFM，可以降低对图像采集设备和操作人员的要求，提高诊断的准确性和效率，从而改善医疗服务的可及性。未来，该方法可以推广到其他医学图像诊断领域，为更广泛的疾病诊断提供支持。

📄 摘要（原文）

Recent advancements in pre-trained large foundation models (LFM) have yielded significant breakthroughs across various domains, including natural language processing and computer vision. These models have been particularly impactful in the domain of medical diagnostic tasks. With abundant unlabeled data, an LFM has been developed for fundus images using the Vision Transformer (VIT) and a self-supervised learning framework. This LFM has shown promising performance in fundus disease diagnosis across multiple datasets. On the other hand, deep learning models have long been challenged by dataset quality issues, such as image quality and dataset bias. To investigate the influence of data quality on LFM, we conducted explorations in two fundus diagnosis tasks using datasets of varying quality. Specifically, we explored the following questions: Is LFM more robust to image quality? Is LFM affected by dataset bias? Can fine-tuning techniques alleviate these effects? Our investigation found that LFM exhibits greater resilience to dataset quality issues, including image quality and dataset bias, compared to typical convolutional networks. Furthermore, we discovered that overall fine-tuning is an effective adapter for LFM to mitigate the impact of dataset quality issues.