A Multimodal Approach to The Detection and Classification of Skin Diseases
作者: Allen Yang, Edward Yang
分类: eess.IV, cs.CV, cs.LG
发布日期: 2024-11-21
💡 一句话要点
提出多模态皮肤病检测与分类方法，结合图像与文本信息提升诊断准确率。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 皮肤病诊断 多模态学习 深度学习 图像分类 自然语言处理 大型语言模型 远程医疗
📋 核心要点
- 现有皮肤病诊断方法受限于数据规模小、模态单一，难以准确识别多种皮肤病。
- 提出结合皮肤图像和患者文本描述的多模态方法，利用大型语言模型进行序列分类。
- 实验结果表明，该方法在26种皮肤病数据集上达到91%的诊断准确率，优于现有方法。
📝 摘要（中文）
据PBS报道，近三分之一的美国人缺乏初级保健服务，另有40%的人因避免医疗费用而延迟就医。因此，许多疾病即使在皮肤上表现出明显的身体症状，也未被诊断和治疗。随着人工智能的兴起，自我诊断和疾病识别的改进比以往任何时候都更有希望。然而，现有方法受限于缺乏大规模患者数据库和过时的研究方法，导致研究仅限于少数疾病或模态。本研究利用易于获取的患者信息，通过图像和文本进行皮肤病分类，使用包含26种皮肤病类型的新数据集，该数据集包括皮肤病图像（37K）和相关的患者叙述。使用该数据集，建立了优于现有方法的各种图像模型基线。最初，Resnet-50模型只能达到70%的准确率，但在经过各种优化技术后，准确率提高到80%。此外，本研究提出了一种新颖的序列分类大型语言模型（LLM）微调策略，即“选项链”，该策略在训练时而非推理时将复杂的推理任务分解为中间步骤。通过“选项链”和来自图像模型的初步疾病推荐，该方法在仅给定患病区域的图像以及患者对症状的描述（如瘙痒或头晕）的情况下，实现了诊断患者皮肤病的91%的最先进准确率。通过这项研究，可以更早地诊断出皮肤病，临床医生可以与深度学习模型合作，给出更准确的诊断，从而提高生活质量并挽救生命。
🔬 方法详解
问题定义：现有皮肤病诊断方法主要依赖于医生的经验和检查，效率低且容易出现误诊。缺乏大规模、多模态的皮肤病数据集，限制了深度学习模型在皮肤病诊断中的应用。现有方法通常只使用图像信息，忽略了患者的文本描述，导致诊断准确率不高。
核心思路：本研究的核心思路是利用多模态信息（图像和文本）进行皮肤病诊断。通过结合皮肤图像的视觉特征和患者的文本描述，可以更全面地了解患者的病情，从而提高诊断准确率。此外，本研究还提出了一种新颖的序列分类大型语言模型微调策略，即“选项链”，以提高文本信息的利用率。
技术框架：该方法主要包括两个模块：图像模型和文本模型。图像模型负责提取皮肤图像的视觉特征，文本模型负责提取患者文本描述的语义特征。然后，将两种特征融合在一起，输入到分类器中进行皮肤病诊断。图像模型可以使用Resnet-50等预训练模型，文本模型可以使用大型语言模型（LLM）。“选项链”微调策略用于优化LLM，使其更好地理解患者的文本描述。
关键创新：本研究的关键创新点在于以下几个方面：1) 提出了一个包含26种皮肤病类型的大规模多模态数据集，包括皮肤病图像和患者叙述。2) 提出了一种新颖的序列分类大型语言模型微调策略，即“选项链”，该策略在训练时而非推理时将复杂的推理任务分解为中间步骤。3) 将图像模型和文本模型融合在一起，利用多模态信息进行皮肤病诊断。
关键设计：在图像模型方面，使用了预训练的Resnet-50模型，并进行了微调。在文本模型方面，使用了大型语言模型，并采用了“选项链”微调策略。具体来说，“选项链”将复杂的推理任务分解为多个中间步骤，例如，首先判断患者是否有瘙痒症状，然后判断瘙痒的程度，最后根据瘙痒症状和其他症状进行疾病诊断。在损失函数方面，使用了交叉熵损失函数。在参数设置方面，使用了Adam优化器，学习率为0.001，batch size为32。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在包含26种皮肤病类型的新数据集上取得了显著的性能提升。Resnet-50模型经过优化后，准确率从70%提高到80%。结合“选项链”微调策略和图像模型的初步疾病推荐，该方法在诊断患者皮肤病方面实现了91%的最先进准确率，优于现有方法。
🎯 应用场景
该研究成果可应用于远程医疗、移动健康等领域，为缺乏医疗资源的地区提供便捷的皮肤病诊断服务。医生可以利用该模型辅助诊断，提高诊断效率和准确率，减少误诊漏诊。患者可以通过上传皮肤图像和描述症状，进行初步的自我诊断，及时就医。
📄 摘要（原文）
According to PBS, nearly one-third of Americans lack access to primary care services, and another forty percent delay going to avoid medical costs. As a result, many diseases are left undiagnosed and untreated, even if the disease shows many physical symptoms on the skin. With the rise of AI, self-diagnosis and improved disease recognition have become more promising than ever; in spite of that, existing methods suffer from a lack of large-scale patient databases and outdated methods of study, resulting in studies being limited to only a few diseases or modalities. This study incorporates readily available and easily accessible patient information via image and text for skin disease classification on a new dataset of 26 skin disease types that includes both skin disease images (37K) and associated patient narratives. Using this dataset, baselines for various image models were established that outperform existing methods. Initially, the Resnet-50 model was only able to achieve an accuracy of 70% but, after various optimization techniques, the accuracy was improved to 80%. In addition, this study proposes a novel fine-tuning strategy for sequence classification Large Language Models (LLMs), Chain of Options, which breaks down a complex reasoning task into intermediate steps at training time instead of inference. With Chain of Options and preliminary disease recommendations from the image model, this method achieves state of the art accuracy 91% in diagnosing patient skin disease given just an image of the afflicted area as well as a patient description of the symptoms (such as itchiness or dizziness). Through this research, an earlier diagnosis of skin diseases can occur, and clinicians can work with deep learning models to give a more accurate diagnosis, improving quality of life and saving lives.