Multimodal system for skin cancer detection

📄 arXiv: 2601.14822v1 📥 PDF

作者: Volodymyr Sydorskyi, Igor Krashenyi, Oleksii Yakubenko

分类: cs.CV, cs.AI

发布日期: 2026-01-21

备注: Accepted to System research and information technologies

💡 一句话要点

提出一种基于普通照片和元数据的多模态皮肤癌检测系统，提升诊断可及性。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 皮肤癌检测 多模态学习 深度学习 图像识别 元数据融合

📋 核心要点

  1. 现有黑色素瘤检测方法依赖专业皮肤镜设备，限制了其在更广泛临床场景的应用。
  2. 该论文提出一种多模态系统，结合普通照片和元数据，提升检测准确性和可及性。
  3. 实验结果表明，该系统在Partial ROC AUC和top-15检索敏感度上取得了显著提升。

📝 摘要（中文）

黑色素瘤的早期检测对于有效治疗至关重要。虽然基于皮肤镜图像的深度学习模型展现了潜力，但它们依赖于专用设备，限制了其在更广泛临床环境中的应用。本研究介绍了一种多模态黑色素瘤检测系统，该系统使用普通照片图像，使其更易于访问和通用。我们的系统将图像数据与表格元数据（如患者人口统计学和病变特征）集成，以提高检测准确性。它采用了一种多模态神经网络，结合了图像和元数据处理，并支持用于有或没有元数据情况的两步模型。三阶段流水线通过提升算法进一步优化预测并提高性能。为了解决高度不平衡数据集的挑战，实施了特定技术以确保稳健的训练。一项消融研究评估了最新的视觉架构、提升算法和损失函数，实现了0.18068的峰值Partial ROC AUC（0.2为最大值）和0.78371的top-15检索敏感度。结果表明，在结构化的多阶段流水线中集成照片图像和元数据可显著提高性能。该系统通过提供适用于各种医疗保健环境的可扩展、独立于设备的解决方案，弥合了专业和一般临床实践之间的差距，从而推进了黑色素瘤检测。

🔬 方法详解

问题定义：该论文旨在解决黑色素瘤早期检测中，现有方法依赖专业设备导致可及性差的问题。现有方法主要依赖皮肤镜图像，需要专业设备和操作人员，限制了其在基层医疗机构和家庭场景的应用。因此，如何利用更易获取的普通照片和患者元数据实现准确的黑色素瘤检测是本文要解决的核心问题。

核心思路：论文的核心思路是利用多模态学习，将普通照片图像和患者元数据（如年龄、性别、病灶特征等）相结合，构建一个更鲁棒、更准确的黑色素瘤检测系统。通过融合不同模态的信息，弥补单一模态的不足，提高模型的泛化能力和诊断准确性。

技术框架：该系统采用一个三阶段流水线：1) 多模态神经网络，用于融合图像和元数据信息，进行初步预测；2) 两步模型，分别处理有元数据和无元数据的情况，提高模型的适应性；3) 提升算法，对初步预测结果进行优化，进一步提高检测性能。整体架构旨在充分利用各种信息源，逐步提升预测精度。

关键创新：该论文的关键创新在于将普通照片图像和元数据相结合，构建了一个可扩展、独立于设备的黑色素瘤检测系统。与现有方法相比，该系统无需专业设备，更易于部署和使用，具有更广泛的应用前景。此外，该系统采用多阶段流水线，逐步优化预测结果，提高了检测性能。

关键设计：在多模态神经网络中，图像数据通过卷积神经网络（CNN）提取特征，元数据通过全连接网络处理。然后，将两种特征进行融合，输入到分类器中进行预测。为了解决数据集不平衡问题，采用了加权损失函数和数据增强等技术。在提升算法中，采用了XGBoost等模型，对初步预测结果进行优化。损失函数方面，论文进行了消融实验，选择了合适的损失函数来优化模型。

📊 实验亮点

实验结果表明，该系统在Partial ROC AUC上达到了0.18068（满分0.2），top-15检索敏感度达到了0.78371。消融研究表明，多模态融合和多阶段流水线设计能够显著提高检测性能。这些结果验证了该系统在黑色素瘤检测方面的有效性和潜力。

🎯 应用场景

该研究成果可应用于远程医疗、移动健康和基层医疗等场景，实现黑色素瘤的早期筛查和诊断。该系统无需专业设备，降低了诊断成本，提高了诊断可及性，有助于改善患者的预后。未来，该系统可以集成到智能手机应用或在线平台中，为用户提供便捷的皮肤癌自检服务。

📄 摘要（原文）

Melanoma detection is vital for early diagnosis and effective treatment. While deep learning models on dermoscopic images have shown promise, they require specialized equipment, limiting their use in broader clinical settings. This study introduces a multi-modal melanoma detection system using conventional photo images, making it more accessible and versatile. Our system integrates image data with tabular metadata, such as patient demographics and lesion characteristics, to improve detection accuracy. It employs a multi-modal neural network combining image and metadata processing and supports a two-step model for cases with or without metadata. A three-stage pipeline further refines predictions by boosting algorithms and enhancing performance. To address the challenges of a highly imbalanced dataset, specific techniques were implemented to ensure robust training. An ablation study evaluated recent vision architectures, boosting algorithms, and loss functions, achieving a peak Partial ROC AUC of 0.18068 (0.2 maximum) and top-15 retrieval sensitivity of 0.78371. Results demonstrate that integrating photo images with metadata in a structured, multi-stage pipeline yields significant performance improvements. This system advances melanoma detection by providing a scalable, equipment-independent solution suitable for diverse healthcare environments, bridging the gap between specialized and general clinical practices.