Adaptive Knowledge Distillation for Classification of Hand Images using Explainable Vision Transformers
作者: Thanh Thi Nguyen, Campbell Wilson, Janis Dalins
分类: cs.CV, cs.AI, cs.LG
发布日期: 2024-08-20
备注: Accepted at the ECML PKDD 2024 (Research Track)
💡 一句话要点
提出基于可解释Vision Transformer的自适应知识蒸馏方法，用于手部图像分类。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 手部图像分类 Vision Transformer 知识蒸馏 自适应学习 可解释性 灾难性遗忘 跨域学习
📋 核心要点
- 现有手部图像分类方法难以有效利用手部静脉、指纹等细粒度特征，且模型可解释性较差。
- 提出一种基于可解释Vision Transformer的自适应知识蒸馏方法，利用教师模型的内部知识指导学生模型学习，避免灾难性遗忘。
- 实验结果表明，ViT模型优于传统方法，且所提蒸馏方法在跨域手部图像分类任务中表现出色，有效提升了模型性能。
📝 摘要（中文）
本文研究了使用Vision Transformer (ViT) 进行手部图像分类的问题，手部图像包含静脉、指纹和手部几何结构等独特的个体特征。论文利用可解释性工具探索ViT的内部表示，并评估其对模型输出的影响。基于对ViT内部理解，提出了一种蒸馏方法，允许学生模型自适应地从教师模型中提取知识，同时学习来自不同领域的数据，以防止灾难性遗忘。使用两个公开的手部图像数据集进行实验，评估ViT和所提出的自适应蒸馏方法的性能。实验结果表明，ViT模型显著优于传统的机器学习方法，并且ViT的内部状态有助于解释分类任务中的模型输出。通过避免灾难性遗忘，该蒸馏方法在源域和目标域的数据上都取得了优异的性能，尤其是在这两个域表现出显著差异时。因此，所提出的方法可以有效地开发和应用于访问控制、身份验证等实际应用。
🔬 方法详解
问题定义：现有手部图像分类方法，如传统机器学习方法，难以充分利用手部图像中蕴含的细粒度特征，例如静脉纹路、指纹细节等。此外，深度学习模型的可解释性较差，难以理解模型的决策依据。当模型需要在不同领域的手部图像数据上进行学习时，容易发生灾难性遗忘，导致在先前领域上的性能急剧下降。
核心思路：本文的核心思路是利用Vision Transformer (ViT) 强大的特征提取能力和可解释性，结合知识蒸馏技术，使学生模型能够从教师模型中学习到更丰富的知识，并避免在跨域学习过程中发生灾难性遗忘。通过分析ViT的内部表示，了解模型关注的关键特征，并利用这些信息指导学生模型的训练。
技术框架：整体框架包含一个预训练的教师ViT模型和一个待训练的学生ViT模型。首先，利用可解释性工具分析教师模型的内部表示，确定其关注的关键区域和特征。然后，设计自适应知识蒸馏策略，使学生模型能够有选择地学习教师模型中的知识。在训练过程中，学生模型同时学习源域和目标域的数据，并利用蒸馏损失函数来约束学生模型的输出和中间层表示与教师模型保持一致。
关键创新：本文的关键创新在于提出了一种自适应知识蒸馏方法，该方法能够根据教师模型的内部表示，动态地调整学生模型学习的重点。与传统的知识蒸馏方法相比，该方法能够更有效地利用教师模型的知识，并避免学生模型盲目地模仿教师模型的行为。此外，该方法还能够有效地缓解灾难性遗忘问题，使模型能够在多个领域的数据上保持良好的性能。
关键设计：论文中使用了ViT-Base作为教师模型和学生模型的基础架构。损失函数包括分类损失（交叉熵损失）和蒸馏损失。蒸馏损失包括输出蒸馏损失和特征蒸馏损失。输出蒸馏损失用于约束学生模型的输出与教师模型的输出保持一致，特征蒸馏损失用于约束学生模型的中间层表示与教师模型的中间层表示保持一致。自适应蒸馏权重根据教师模型注意力图谱动态调整，使得学生模型更加关注教师模型关注的区域。
🖼️ 关键图片
📊 实验亮点
实验结果表明，ViT模型在手部图像分类任务中显著优于传统的机器学习方法。所提出的自适应知识蒸馏方法能够有效地避免灾难性遗忘，并在源域和目标域的数据上都取得了优异的性能，尤其是在两个域表现出显著差异时。具体性能数据未知，但论文强调了该方法在跨域学习中的优势。
🎯 应用场景
该研究成果可应用于多种场景，例如：访问控制系统，通过识别手部静脉或指纹进行身份验证；身份验证系统，提高身份验证的安全性和可靠性；以及其他需要手部图像识别的领域，例如医疗诊断、人机交互等。该方法在跨域数据上的良好泛化能力，使其在实际应用中具有更高的价值。
📄 摘要（原文）
Assessing the forensic value of hand images involves the use of unique features and patterns present in an individual's hand. The human hand has distinct characteristics, such as the pattern of veins, fingerprints, and the geometry of the hand itself. This paper investigates the use of vision transformers (ViTs) for classification of hand images. We use explainability tools to explore the internal representations of ViTs and assess their impact on the model outputs. Utilizing the internal understanding of ViTs, we introduce distillation methods that allow a student model to adaptively extract knowledge from a teacher model while learning on data of a different domain to prevent catastrophic forgetting. Two publicly available hand image datasets are used to conduct a series of experiments to evaluate performance of the ViTs and our proposed adaptive distillation methods. The experimental results demonstrate that ViT models significantly outperform traditional machine learning methods and the internal states of ViTs are useful for explaining the model outputs in the classification task. By averting catastrophic forgetting, our distillation methods achieve excellent performance on data from both source and target domains, particularly when these two domains exhibit significant dissimilarity. The proposed approaches therefore can be developed and implemented effectively for real-world applications such as access control, identity verification, and authentication systems.