Shortcut-Resistant CAM Distillation for Long-Tailed Recognition

📄 arXiv: 2610.29508v1 📥 PDF

作者: Wenhai Wan, Teng Zhang, Shao-Yuan Li, Xinrui Wang, Qiang-Sheng Hua, Songcan Chen

分类: cs.LG

发布日期: 2026-10-21

备注: Accepted to ICML 2026

期刊: Proceedings of the 43rd International Conference on Machine Learning, PMLR 306:124764-124798, 2026

🔗 代码/项目: GITHUB

💡 一句话要点

提出Shortcut-Resistant CAM蒸馏以解决长尾识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长尾识别 快捷学习 类激活图 蒸馏训练 计算机视觉 模型泛化

📋 核心要点

  1. 长尾分布数据集导致尾部类别的泛化能力不足，现有方法在处理这些类别时容易依赖非语义线索。
  2. 提出的SRCD框架通过在CAM空间中转移头部类别的对象聚焦解释，减少尾部类别的快捷学习现象。
  3. 在长尾基准测试中，SRCD显著提升了模型性能，验证了其有效性和实用性。

📝 摘要（中文）

现实世界的数据集通常遵循长尾分布，这使得对尾部类别的泛化变得困难。本文通过快捷学习的视角重新审视这一问题，发现模型倾向于选择最简单的预测线索（如背景或纹理），而非以对象为中心的语义，尤其是在稀缺和偏见的监督下。这种倾向在尾部类别中被放大，有限的样本往往共享相似的上下文，使得非语义信号高度相关，从而诱发快捷学习。为此，本文提出了Shortcut-Resistant CAM Distillation (SRCD)，一个可插拔的框架，将以对象为中心的解释从头部类别转移到尾部类别。SRCD在类激活图（CAM）空间中操作，聚合来自小型头部类别候选的CAM，利用基于一致性和集中度的能量模型加权，构建一个抗快捷学习的教师模型，并将其蒸馏到尾部类别的CAM中。实验结果表明，SRCD在长尾基准测试中显著提升了强基线的性能。

🔬 方法详解

问题定义：本文旨在解决长尾识别中的快捷学习问题，现有方法在尾部类别上容易依赖背景等非语义线索，导致泛化能力不足。

核心思路：SRCD框架通过在类激活图（CAM）空间中转移头部类别的对象聚焦解释，构建抗快捷学习的教师模型，从而提升尾部类别的表现。

技术框架：SRCD的整体架构包括CAM聚合模块、教师模型构建和蒸馏过程。首先，从头部类别中提取CAM，然后通过能量模型加权聚合，最后将教师模型蒸馏到尾部类别的CAM中。

关键创新：SRCD的主要创新在于通过CAM空间的能量模型加权，构建抗快捷学习的教师模型，这一方法在本质上区别于传统的直接蒸馏方法。

关键设计：在设计中，SRCD使用了一种基于一致性和集中度的能量模型来加权CAM，并在蒸馏过程中引入了特定的损失函数，以确保尾部类别的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在长尾基准测试中，SRCD显著提升了模型的识别性能，相较于强基线，尾部类别的准确率提高了X%（具体数据未知），验证了其有效性和实用性。

🎯 应用场景

该研究具有广泛的应用潜力，尤其是在图像分类、目标检测等计算机视觉任务中。通过提升长尾类别的识别能力，SRCD可以帮助改善实际应用中的模型性能，特别是在数据不均衡的场景下。未来，该方法还可能扩展到其他领域，如自然语言处理和语音识别等。

📄 摘要（原文）

Real-world datasets often follow a long-tailed distribution, making generalization to tail classes difficult. We revisit this problem through the lens of shortcut learning, where models prefer the easiest predictive cues (e.g., background or textures) over object-centric semantics, especially under scarce and biased supervision. We find that this tendency is amplified for tail classes: limited examples often share similar contexts, making non-semantic signals highly correlated and thus tempting shortcuts, whereas head classes with diverse appearances and environments encourage more stable object-focused representations. Motivated by this observation, we propose Shortcut-Resistant CAM Distillation (SRCD), a plug-and-play framework that transfers object-focused explanations from head to tail classes. SRCD operates in the Class Activation Map (CAM) space, where a CAM provides a class-specific spatial evidence map for a prediction. SRCD aggregates CAMs from a small set of head-class candidates into a shortcut-resistant teacher using an energy-model weighting based on coherence and concentration, and distills it to the tail-class CAM. We provide a theoretical analysis that quantifies shortcut reliance as shortcut-region evidence mass in CAM space and shows that SRCD suppresses tail shortcuts. Extensive experiments on long-tailed benchmarks consistently improve strong baselines. The code is available at https://github.com/Haifeng3/SRCD.