CARE: Constrained Attention Refinement for Fine-Grained Visual Classification via Teacher-Student Distillation

📄 arXiv: 2610.11153v1 📥 PDF

作者: Ruibo Wen, Hang Shao, Yiming Lei

分类: cs.CV, cs.AI

发布日期: 2026-10-08

备注: 15 pages

💡 一句话要点

提出CARE框架以解决细粒度视觉分类中的解释性与性能问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 细粒度视觉分类 教师-学生蒸馏 可解释性 注意力机制 多层次表示

📋 核心要点

  1. 现有的细粒度视觉分类方法在解释性和判别能力上存在不足，难以充分利用预训练模型的中间表示。
  2. 本文提出CARE框架，通过教师-学生蒸馏机制，结合类特定注意力和多层次表示，提升模型的可解释性与性能。
  3. 在CUB、Oxford-IIIT Pet、Stanford Dogs和Stanford Cars等数据集上，CARE在冻结骨干网络的情况下实现了显著的分类性能提升。

📝 摘要（中文）

细粒度视觉分类要求模型识别微妙的局部特征，同时揭示其预测背后的视觉证据。现有的类特定注意力路径虽然提供了解释性，但其受限的预测结构限制了判别能力，并未充分利用强大的预训练骨干网络的中间表示。为了解决这一问题，本文提出了CARE框架，通过教师-学生蒸馏实现可解释的细粒度识别。CARE在类特定注意力学生中保持最终预测和解释，同时引入一个仅用于训练的辅助查询教师，读取选定的DINOv2中间层。教师融合多层次表示并将标准化的类判别知识转移给学生。通过设计多样性和稀疏性项来正则化学生注意力头，减少冗余并鼓励紧凑的特征定位。实验结果表明，CARE在CUB数据集上达到了78.5%的Top-1准确率，展现出强大的分类性能。

🔬 方法详解

问题定义：本文旨在解决细粒度视觉分类中模型解释性不足和判别能力受限的问题。现有方法的类特定注意力路径无法充分利用强大的预训练骨干网络的中间表示，导致性能下降。

核心思路：CARE框架通过教师-学生蒸馏机制，保持类特定注意力学生的最终预测和解释，同时引入训练专用的辅助查询教师，以读取多层次的中间表示，从而提升模型的判别能力和可解释性。

技术框架：CARE框架主要包括两个模块：类特定注意力学生和辅助查询教师。学生负责最终的分类和解释，而教师则通过融合多层次的表示来传递知识。

关键创新：CARE的主要创新在于引入了训练专用的查询教师，能够有效融合多层次的特征表示，并通过正则化手段提升学生的注意力头的多样性和稀疏性，从而减少冗余并增强特征定位能力。

关键设计：在设计中，CARE采用了多样性和稀疏性正则化项，以优化学生的注意力头。此外，教师通过读取DINOv2的中间层来获取丰富的特征信息，从而提升知识传递的有效性。整体架构设计注重于在保持可解释性的同时，提升模型的分类性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CUB数据集上，CARE框架达到了78.5%的Top-1准确率，展现出强大的分类性能。与现有方法相比，CARE在解释性和判别能力上均有显著提升，尤其是在冻结骨干网络的设置下，充分利用了中间层的特征表示。

🎯 应用场景

CARE框架在细粒度视觉分类任务中具有广泛的应用潜力，尤其适用于需要高解释性和高准确率的领域，如生物物种识别、医疗影像分析和自动驾驶等。通过提升模型的可解释性，CARE能够帮助用户理解模型决策背后的原因，从而增强信任度和可用性。

📄 摘要（原文）

Fine-grained visual classification requires models to recognize subtle local traits while exposing the visual evidence behind their predictions. Class-specific attention pathways provide a natural basis for interpretable recognition, but their constrained prediction structure limits discriminative capacity and underuses intermediate representations from strong pretrained backbones. To address this problem, we propose CARE, a constrained attention refinement framework for interpretable fine-grained recognition via teacher-student distillation. CARE keeps the final prediction and explanation within a class-specific attention student, while introducing a training-only auxiliary query teacher that reads selected intermediate DINOv2 layers with learnable queries. The teacher fuses multi-level representations and transfers logit-standardized class-discriminative knowledge to the student. To further refine the explanation pathway, we design diversity and sparsity terms to regularize student attention heads, reducing redundancy and encouraging compact trait localization. Experiments on CUB, Oxford-IIIT Pet, Stanford Dogs, and Stanford Cars show that CARE achieves strong classification performance under an interpretable frozen-backbone setting, reaching 78.5% Top-1 accuracy on CUB. Faithfulness analysis with insertion and deletion metrics further indicates that the top-ranked attention regions retain class-relevant evidence for explanation.