Synthetic Image Oversampling for Rare-Class Representation Learning in Deep Facial Phenotyping
作者: Miles Liao, Zhanliang Wang, Hongzhuo Chen, Kai Wang
分类: cs.CV
发布日期: 2026-10-16
备注: BIBM 2026 ML4BMI Workshop
💡 一句话要点
提出合成图像过采样以解决稀有类表征学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 合成图像 过采样 面部表型 稀有疾病 深度学习 模型评估 医学影像
📋 核心要点
- 现有深度面部表型方法在稀有疾病患者图像稀缺的情况下，难以有效进行训练和识别。
- 本文提出通过合成面部图像进行疾病特定的过采样，以增强训练数据集，提高模型的识别能力。
- 实验结果表明，合成增强在不同模型中均提高了平均识别准确率，但对某些疾病的影响不一，部分疾病准确率下降。
📝 摘要（中文）
近年来，深度面部表型方法能够支持遗传综合征的识别，但患者图像通常稀缺且在不同疾病间分布不均。合成面部图像为补充训练数据提供了一种方式，但其有效性依赖于是否能改善真实患者的识别。本文研究了基于疾病的合成过采样，利用表型疾病图像数据库的图像来增强GestaltMatcher数据库的子集。通过比较不同的增强水平，评估了合成增强对模型的影响，结果显示增强在训练设置中提高了识别准确率，但不同疾病的反应不均，部分疾病的准确率甚至下降。
🔬 方法详解
问题定义：本文旨在解决稀有类面部表型学习中训练数据不足的问题。现有方法在处理稀有疾病时，面临患者图像稀缺和分布不均的挑战。
核心思路：通过合成面部图像进行疾病特定的过采样，增强训练数据集，以提高模型对稀有疾病的识别能力。该方法的设计基于合成图像可能改善模型的泛化能力。
技术框架：研究使用表型疾病图像数据库的图像来增强GestaltMatcher数据库的子集。比较了在图像模型GestaltMatcher-Arc和多模态模型GestaltMML中不同的合成增强水平，保持真实训练和评估数据集不变。
关键创新：本文的创新在于针对特定疾病进行合成过采样，系统评估不同增强水平对模型性能的影响，强调了合成图像在稀有类表型学习中的应用潜力。
关键设计：在实验中，设置了不同的合成增强水平，使用了多次训练运行来评估整体和疾病特定的准确率，并进行了嵌入分析以观察类别的紧凑性和分离度变化。
🖼️ 关键图片
📊 实验亮点
实验结果显示，在GestaltMatcher-Arc模型中，合成增强提高了平均识别准确率，但提升幅度较小；而在GestaltMML模型中，准确率在不同增强水平下持续提高。部分疾病的准确率却出现下降，表明合成图像的效果因疾病而异。
🎯 应用场景
该研究的潜在应用领域包括医学影像分析、遗传疾病的早期诊断和个性化医疗。通过提高稀有疾病的识别能力，能够为临床提供更有效的支持，改善患者的治疗效果。未来，该方法可能扩展到其他领域的稀有类数据处理。
📄 摘要（原文）
Recent deep facial phenotyping methods can support the recognition of genetic syndromes, but patient images are often scarce and unevenly distributed across disorders. Synthetic facial images offer a way to supplement the training data without collecting additional patient photographs. Their usefulness, however, depends on whether they improve recognition of real patients: generated images may introduce artifacts or repeat features already represented in the training set. It is therefore necessary to examine both how much synthetic augmentation to use and which disorders benefit. We investigate disease-specific synthetic oversampling using images from the Phenotypic Disease Image Database to augment a subset of the GestaltMatcher Database. We compare increasing augmentation levels in an image-based model, GestaltMatcher-Arc, and a multimodal model, GestaltMML, while keeping the real training and patient-disjoint evaluation partitions fixed. Repeated training runs assess overall and disease-specific accuracy, and an exploratory embedding analysis examines changes in class compactness and separation. Augmentation improves mean recognition accuracy in both training setups, although gains remain modest in GestaltMatcher-Arc and continue across the tested levels in GestaltMML. These aggregate improvements are accompanied by uneven disease-level responses, including reduced accuracy for some disorders. In the embedding analysis, disorders with fewer real training images tend to gain more class separation, but geometric changes do not consistently track classification performance. Together, the findings support synthetic oversampling for limited-data facial phenotyping and emphasize the need to assess its amount and benefit for individual disorders within each training setup.