GAMF-Net: Grouped Availability-Aware Multimodal Fusion for Smartphone Skin Lesion Classification

📄 arXiv: 2610.28129v1 📥 PDF

作者: Yue Zhuo, Jingjia Yan, Fangyu Liu, Lingjun Liu, Zongjun Chen, Zhisheng Luo, Zhonghua Xie

分类: cs.CV

发布日期: 2026-10-20

备注: 14 pages, 4 figures. Accepted at MMM 2027

💡 一句话要点

提出GAMF-Net以解决智能手机皮肤病变分类中的多模态信息融合问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 皮肤病变分类 多模态融合 临床信息 智能手机应用 深度学习

📋 核心要点

  1. 现有方法在处理智能手机图像与临床信息的融合时，缺乏有效的结构化组织，导致信息利用不充分。
  2. GAMF-Net通过将临床变量分组并结合图像信息，采用可用性感知的融合策略，提升了分类性能。
  3. 在PAD-UFES-20数据集上，GAMF-Net的准确率达到74.17%，显著优于现有的基线方法，展示了临床信息的有效性。

📝 摘要（中文）

智能手机临床图像为资源受限环境中的皮肤病变分类提供了低成本的数据来源，但仅靠图像无法全面捕捉患者的病史和病变症状。为了解决异构临床变量之间缺乏结构化组织、观察值与填补值之间的模糊性，以及临床信息可能干扰视觉证据的风险，本文提出了GAMF-Net，一种分组可用性感知的多模态融合网络。该网络将十个临床变量分为三组，分别为人口统计学、历史相关风险和病变表现。实验结果表明，GAMF-Net在PAD-UFES-20数据集上表现优异，超越了所有图像单一和多模态基线。

🔬 方法详解

问题定义：本文旨在解决智能手机皮肤病变分类中，图像与临床信息融合的不足，现有方法未能有效利用异构临床变量，导致分类性能受限。

核心思路：GAMF-Net通过将临床变量分为三组，结合图像信息进行分组融合，确保只有可用的临床信息参与融合，从而提高分类的准确性和可靠性。

技术框架：GAMF-Net包括图像分支和临床变量分支，图像分支生成基础分类logits，而每个临床组则生成图像条件下的类级残差证据。采用可用性归一化的等权重融合策略，确保模型在缺乏临床信息时回退至图像路径。

关键创新：GAMF-Net的创新在于其分组可用性感知的融合策略，能够有效处理临床信息的缺失问题，并且在信息融合时避免了干扰。

关键设计：模型设计中，临床变量被分为人口统计学、历史相关风险和病变表现三组，使用场景中只参与可用组的融合，确保了信息的有效利用。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

GAMF-Net在PAD-UFES-20数据集上的实验结果显示，准确率达到74.17%，平衡准确率为70.11%，宏观F1值为68.85%，宏观AUROC为93.42%。与最强基线MetaBlock相比，分别提升了2.37、2.59、4.14和1.02个百分点，充分证明了临床信息的有效性。

🎯 应用场景

该研究的潜在应用场景包括医疗影像分析、远程医疗和智能手机健康监测等领域。通过提升皮肤病变分类的准确性，GAMF-Net能够帮助医生更好地进行诊断，尤其是在资源有限的环境中，具有重要的实际价值和未来影响。

📄 摘要（原文）

Smartphone clinical images provide a low-cost data source for computer-aided skin lesion classification in resource-constrained settings, but images alone cannot fully capture patients' medical histories and lesion symptoms. To address the lack of structured organization among heterogeneous clinical variables, the ambiguity between observed and imputed values, and the risk that clinical information may interfere with visual evidence, we propose GAMF-Net, a grouped availability-aware multimodal fusion network. Ten clinical variables are divided into three semantic groups---demographics, history-related risk, and lesion presentation---and each group jointly encodes field values and field-level availability masks. The image branch produces the base classification logits, while each clinical group generates image-conditioned class-level residual evidence. Only available groups participate in availability-normalized equal-weight fusion; when all clinical information is unavailable, the model reduces exactly to the image-only pathway. We evaluate the method on PAD-UFES-20 under a patient-disjoint five-fold protocol with separate training, validation, and test partitions. GAMF-Net achieves an Accuracy of $74.17\pm2.85\%$, a balanced accuracy (BACC) of $70.11\pm2.11\%$, a Macro-F1 of $68.85\pm0.85\%$, and a Macro-AUROC of $93.42\pm1.20\%$, outperforming all image-only and multimodal baselines reimplemented under a unified protocol. Compared with the strongest baseline, MetaBlock, the corresponding improvements are 2.37, 2.59, 4.14, and 1.02 percentage points, respectively. Ablation results show that clinical information substantially improves class-balanced performance, constrained equal-weight fusion is more effective than dynamic fusion, and the lesion-presentation group provides the most informative clinical complement.