What do larger image classifiers memorise?
作者: Michal Lukasik, Vaishnavh Nagarajan, Ankit Singh Rawat, Aditya Krishna Menon, Sanjiv Kumar
分类: cs.LG, cs.CV
发布日期: 2023-10-09
💡 一句话要点
提出对比分析以探讨大规模图像分类器的记忆特性
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 记忆与泛化 神经网络 图像分类 知识蒸馏 模型压缩 深度学习
📋 核心要点
- 核心问题：现有研究未能明确更大规模的神经网络是否会导致更强的记忆能力，尤其是在图像分类任务中。
- 方法要点：通过实证分析不同规模模型的记忆轨迹，揭示了训练样本在记忆表现上的多样性。
- 实验或效果：发现大多数样本在更大模型下记忆减少，且知识蒸馏技术抑制记忆但提升泛化能力。
📝 摘要（中文）
现代神经网络的成功引发了对记忆与泛化之间关系的研究。尽管过参数化模型能够完美拟合随机标签，但其泛化能力依然良好。Feldman提出了一种度量个别训练样本记忆程度的指标，并计算了ResNet在图像分类基准上的记忆特征。本文通过全面的实证分析，探讨了更大神经模型是否会记忆更多内容。研究发现，训练样本在不同模型规模下表现出意想不到的多样化记忆轨迹，大多数样本在更大模型下记忆减少，而其他样本则表现出帽形或增加的记忆趋势。此外，知识蒸馏作为一种有效的模型压缩技术，倾向于抑制记忆，同时改善泛化能力。
🔬 方法详解
问题定义：本文旨在探讨更大规模的神经网络是否会导致更强的记忆能力。现有方法未能充分揭示不同模型规模对记忆的影响，尤其是在图像分类任务中。
核心思路：通过对比分析不同规模模型的记忆轨迹，研究样本在不同模型下的记忆表现，揭示其多样性。此设计旨在深入理解记忆与泛化之间的关系。
技术框架：研究采用了Feldman提出的记忆度量指标，分析了ResNet在多个图像分类基准上的表现。主要模块包括数据集选择、模型训练、记忆度量计算及结果分析。
关键创新：最重要的创新在于发现大多数样本在更大模型下记忆减少，而部分样本则表现出帽形或增加的记忆趋势，这一发现与现有理论相悖。
关键设计：研究中使用了Feldman记忆评分的多种代理指标，分析其在捕捉记忆趋势方面的不足。同时，知识蒸馏的应用被详细探讨，揭示其对记忆和泛化的影响。
🖼️ 关键图片
📊 实验亮点
实验结果显示，大多数训练样本在更大模型下的记忆能力显著下降，而部分样本则表现出增加的记忆趋势。此外，知识蒸馏技术在抑制记忆的同时，提升了模型的泛化能力，这一发现为模型压缩和优化提供了新的视角。
🎯 应用场景
该研究的潜在应用领域包括深度学习模型的设计与优化，尤其是在图像分类和其他视觉任务中。通过理解记忆与泛化的关系，研究可以指导模型架构的选择和训练策略的制定，从而提升实际应用中的性能和效率。
📄 摘要（原文）
The success of modern neural networks has prompted study of the connection between memorisation and generalisation: overparameterised models generalise well, despite being able to perfectly fit (memorise) completely random labels. To carefully study this issue, Feldman proposed a metric to quantify the degree of memorisation of individual training examples, and empirically computed the corresponding memorisation profile of a ResNet on image classification bench-marks. While an exciting first glimpse into what real-world models memorise, this leaves open a fundamental question: do larger neural models memorise more? We present a comprehensive empirical analysis of this question on image classification benchmarks. We find that training examples exhibit an unexpectedly diverse set of memorisation trajectories across model sizes: most samples experience decreased memorisation under larger models, while the rest exhibit cap-shaped or increasing memorisation. We show that various proxies for the Feldman memorization score fail to capture these fundamental trends. Lastly, we find that knowledge distillation, an effective and popular model compression technique, tends to inhibit memorisation, while also improving generalisation. Specifically, memorisation is mostly inhibited on examples with increasing memorisation trajectories, thus pointing at how distillation improves generalisation.