IJCB-AFMFR 2026: Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data

📄 arXiv: 2607.24422v1 📥 PDF

作者: Tahar Chettaoui, Guray Ozgur, Eduarda Caldeira, Arturas Nakvosas, Hatef Otroshi Shahreza, Sébastien Marcel, Rishabh Shukla, Aditya Takkar, Rushil Khullar, Lalak Yadav, Gourav Gupta, Anant Gupta, Shiqi Yu, Vitomir Struc, Naser Damer, Fadi Boutros

分类: cs.CV

发布日期: 2026-07-27

备注: Accepted at the IEEE International Joint Conference on Biometrics 2026 (IJCB 2026)

💡 一句话要点

通过合成训练数据适应基础模型以提升人脸识别性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人脸识别 合成数据 基础模型 模型适应 深度学习 性能评估 数据生成 微调

📋 核心要点

  1. 现有的人脸识别模型在资源受限的情况下适应性不足，难以充分利用合成数据。
  2. 论文提出通过合成训练数据对CLIP基础模型进行适应，分为全数据和有限数据两条轨道进行评估。
  3. 实验结果显示，合成数据的使用显著提升了模型性能，特别是在全微调和有限数据条件下的适应效果。

📝 摘要（中文）

本文总结了在2026年国际联合生物识别会议（IJCB 2026）上举行的人脸识别基础模型适应竞赛（AFMFR）。竞赛共收到来自四个团队的八个有效提交，分为全数据轨道和有限数据轨道。所有训练数据均使用IDPERTURB生成。提交的解决方案根据在多个基准测试（如LFW、CFP-FP等）上的验证和识别性能进行排名。结果表明，使用合成训练数据对CLIP基础模型的适应显著提升了性能，部分情况下超越了基线。全微调与Sub-Center ArcFace结合的方案在全数据轨道中表现最佳，而在有限数据条件下，rank-stabilized LoRA适应方法效果最佳。

🔬 方法详解

问题定义：本文旨在解决人脸识别模型在有限数据条件下的适应性不足问题，现有方法在资源受限情况下表现不佳，难以充分利用合成数据的潜力。

核心思路：通过使用合成训练数据对CLIP基础模型进行适应，设计了全数据轨道和有限数据轨道，以评估不同条件下的模型性能。

技术框架：整体架构包括数据生成、模型适应和性能评估三个主要模块。数据生成使用IDPERTURB，模型适应包括全微调和LoRA适应，性能评估则基于多个基准测试。

关键创新：最重要的创新在于结合合成数据与基础模型的适应策略，特别是在有限数据条件下的rank-stabilized LoRA适应方法，与传统方法相比，显著提升了模型的适应性和性能。

关键设计：在模型训练中，采用了Sub-Center ArcFace作为损失函数，并在全微调过程中进行了参数优化，以确保模型在不同数据条件下的稳定性和准确性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，使用合成训练数据对CLIP基础模型的适应性能显著提升，特别是在全微调的情况下，模型在多个基准测试中表现超越了基线，验证和识别性能均有显著改善，尤其在有限数据条件下的rank-stabilized LoRA适应方法表现最佳。

🎯 应用场景

该研究的潜在应用领域包括安全监控、身份验证和社交媒体等人脸识别相关场景。通过提升模型在合成数据上的适应能力，可以在资源受限的环境中实现更高效的人脸识别，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

This paper presents a summary of the Competition on Adapting Foundation Models for Face Recognition Using Synthetic Training Data (AFMFR), held at the 2026 International Joint Conference on Biometrics (IJCB 2026). The competition received a total of eight valid submissions from four distinct teams across two complementary tracks: a Full Data Track, in which participants adapt the CLIP ViT-L/14 foundation model using large-scale synthetic identity data, and a Limited Data Track, designed to reflect more resource-constrained adaptation regimes. All training data was generated exclusively using IDPERTURB. Submitted solutions are ranked based on verification and identification performance across a diverse suite of benchmarks, including LFW, CFP-FP, AgeDB-30, CALFW, CPLFW, IJB-B, IJB-C, and TinyFace, using the Borda count method. Fairness evaluation is additionally conducted on the RFW dataset across four demographic groups. The results demonstrate that adaptation of the CLIP foundation model with synthetic training data substantially improves over the off-the-shelf model and, in several cases, surpasses the baseline. Notably, full fine-tuning with Sub-Center ArcFace (DMSTI-Neurotechnology) leads the Full Data Track, while rank-stabilized LoRA adaptation (Idiap-BSP) proves most effective under limited-data conditions.