Benchmarking Off-the-Shelf Multimodal AI Models Against Dermatologists on Patient-Captured Skin Images
作者: Rian Dolphin, Laura Knowles
分类: cs.CV
发布日期: 2026-09-21
备注: 14 pages, 6 figures
💡 一句话要点
评估多模态AI模型在皮肤病诊断中的应用效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态AI 皮肤病诊断 信心评级 患者元数据 模型评估
📋 核心要点
- 现有的皮肤病诊断方法中，AI模型的表现与认证医生的诊断结果存在差距，尤其在信心评级方面。
- 本文通过评估三种低至中价位的多模态AI模型，探讨其在皮肤病诊断中的实际应用效果。
- 实验结果显示，AI模型在某些情况下与医生的诊断一致性相当，但在使用信心阈值时存在不可靠性。
📝 摘要（中文）
近年来，人工智能（AI）迅速发展，尤其是多模态能力的模型逐渐成为研究热点。本文评估了三种新发布的AI模型在患者提交的皮肤图像上诊断皮肤病的表现，并与三位认证皮肤科医生的诊断结果进行了比较。研究发现，AI模型在某些指标上与医生的意见相当，但在信心评级方面表现不佳，且提供额外患者元数据对模型性能的影响因模型而异。此外，模型的成本与性能之间并无直接关联，表现最佳的模型每个案例的平均成本仅为0.0045美元。
🔬 方法详解
问题定义：本文旨在解决多模态AI模型在皮肤病诊断中的实际表现与医生诊断结果的对比问题。现有方法在信心评级和模型性能上存在不足。
核心思路：通过对三种新发布的AI模型进行评估，分析其在患者提交图像上的诊断能力，特别关注模型的信心评级和患者元数据的影响。
技术框架：研究采用了三种不同的AI模型，评估其在皮肤病诊断任务中的表现，并与三位认证皮肤科医生的诊断结果进行对比。主要模块包括图像输入、模型推理、结果输出及信心评级。
关键创新：研究揭示了AI模型在信心评级方面的不足，强调了模型性能与成本之间的非线性关系，提出了在临床应用中需谨慎使用信心阈值的建议。
关键设计：在实验中，模型的选择基于其价格区间，且对患者元数据的处理方式因模型而异，部分模型在引入额外信息后表现下降。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所测试的AI模型在某些指标上与医生的诊断一致性相当，但在信心评级方面表现不佳。特别是，某一模型在引入额外患者元数据后，所有评估指标均出现下降。表现最佳的模型每个案例的平均成本仅为0.0045美元，显示出其经济性。
🎯 应用场景
该研究的潜在应用领域包括医疗影像分析、远程医疗和智能诊断系统。通过提高AI在皮肤病诊断中的可靠性，可以为患者提供更快速、经济的医疗服务，未来可能推动AI在其他医学领域的应用。
📄 摘要（原文）
Artificial intelligence (AI) has advanced at a rapid pace in recent years. Initially, breakthroughs in large language models caught widespread attention. However, recent generations of frontier AI models have adopted multimodal capabilities as a first class citizen, with vision capabilities being central to that. In this paper, we evaluate three recently released models on the task of diagnosing dermatological conditions from patient-submitted images. The models chosen are at the low to mid tier in terms of pricing and thus represent a floor on current AI capabilities, not a ceiling. We evaluate AI performance relative to a panel of three certified dermatologists, who grade each image, and we present four interesting findings. Firstly, depending on the metric, the tested AI models are either on par or slightly trail humans in terms of inter-clinician agreement. Secondly, we find that asking AI models for a confidence rating produces poorly calibrated answers, meaning use of confidence thresholds should not be relied upon in a clinical setting. Thirdly, the effect of providing additional patient metadata is strongly model-specific, with one of the three models degrading on every metric considered. Finally, model cost is not predictive of performance. The best-performing model we tested costs on average $0.0045 per case.