InfoCL: Alleviating Catastrophic Forgetting in Continual Text Classification from An Information Theoretic Perspective
作者: Yifan Song, Peiyi Wang, Weimin Xiong, Dawei Zhu, Tianyu Liu, Zhifang Sui, Sujian Li
分类: cs.CL
发布日期: 2023-10-10
备注: Findings of EMNLP 2023. An improved version of arXiv:2305.07289
🔗 代码/项目: GITHUB
💡 一句话要点
提出InfoCL以解决持续文本分类中的灾难性遗忘问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 持续学习 文本分类 灾难性遗忘 对比学习 信息理论 记忆增强 机器学习
📋 核心要点
- 现有的持续学习方法在处理相似类别时，性能显著下降，导致灾难性遗忘问题。
- 论文提出的InfoCL方法通过对比学习和对抗性记忆增强，优化了模型的表示学习过程。
- 实验结果显示，InfoCL在三项文本分类任务上表现优异，显著降低了遗忘率，提升了分类性能。
📝 摘要（中文）
持续学习（CL）旨在不断学习新知识，同时避免对旧任务的灾难性遗忘。本文聚焦于类增量设置下的持续文本分类。研究发现，信息瓶颈的压缩效应导致对相似类别的混淆。为此，提出了一种新颖的基于重放的持续文本分类方法InfoCL，通过快速-慢速和当前-过去对比学习实现互信息最大化，从而更好地恢复先前学习的表示。此外，InfoCL还结合了对抗性记忆增强策略，以缓解重放的过拟合问题。实验结果表明，InfoCL有效减轻了遗忘，并在三项文本分类任务上达到了最先进的性能。
🔬 方法详解
问题定义：本文解决的是持续文本分类中的灾难性遗忘问题，尤其是在类增量设置下，现有方法在处理相似类别时表现不佳，导致性能下降。
核心思路：论文的核心思路是通过引入对比学习和对抗性记忆增强，最大化互信息，从而改善模型对先前知识的恢复能力，减少对相似类别的混淆。
技术框架：InfoCL的整体框架包括两个主要模块：快速-慢速对比学习模块和对抗性记忆增强模块。前者用于优化表示学习，后者则用于缓解重放过程中的过拟合问题。
关键创新：最重要的技术创新在于结合了快速-慢速和当前-过去的对比学习策略，形成了一种新的信息理论视角下的持续学习方法，与传统方法相比，能够更有效地处理相似类别的混淆。
关键设计：在设计上，InfoCL采用了特定的损失函数来优化互信息，并通过对抗性训练增强记忆模块的鲁棒性，确保模型在重放过程中能够保持对旧知识的有效记忆。具体的参数设置和网络结构细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，InfoCL在三项文本分类任务上均达到了最先进的性能，相较于基线方法，遗忘率降低了显著的XX%，分类准确率提升了YY%。这些结果验证了InfoCL在持续学习中的有效性。
🎯 应用场景
该研究的潜在应用领域包括文本分类、信息检索和自然语言处理等。通过有效减轻灾难性遗忘，InfoCL能够在动态环境中持续更新模型，适应新知识的学习，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Continual learning (CL) aims to constantly learn new knowledge over time while avoiding catastrophic forgetting on old tasks. We focus on continual text classification under the class-incremental setting. Recent CL studies have identified the severe performance decrease on analogous classes as a key factor for catastrophic forgetting. In this paper, through an in-depth exploration of the representation learning process in CL, we discover that the compression effect of the information bottleneck leads to confusion on analogous classes. To enable the model learn more sufficient representations, we propose a novel replay-based continual text classification method, InfoCL. Our approach utilizes fast-slow and current-past contrastive learning to perform mutual information maximization and better recover the previously learned representations. In addition, InfoCL incorporates an adversarial memory augmentation strategy to alleviate the overfitting problem of replay. Experimental results demonstrate that InfoCL effectively mitigates forgetting and achieves state-of-the-art performance on three text classification tasks. The code is publicly available at https://github.com/Yifan-Song793/InfoCL.