Compensating Visual Insufficiency with Stratified Language Guidance for Long-Tail Class Incremental Learning

📄 arXiv: 2603.21708v1 📥 PDF

作者: Xi Wang, Xu Yang, Donghao Sun, Cheng Deng

分类: cs.AI, cs.CV

发布日期: 2026-03-23

💡 一句话要点

提出分层语言引导方法，解决长尾类增量学习中的视觉信息不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长尾学习 增量学习 语言引导 大型语言模型 知识蒸馏

📋 核心要点

  1. 长尾类增量学习面临尾部类样本少和灾难性遗忘的双重挑战。
  2. 利用大型语言模型生成分层语言树，指导视觉学习，缓解数据不平衡。
  3. 实验证明，该方法在多个基准测试中达到了最先进的性能。

📝 摘要（中文）

长尾类增量学习(LT CIL)极具挑战性，因为尾部类别的样本稀缺不仅阻碍了它们的学习，还加剧了在不断演变和不平衡的数据分布下的灾难性遗忘。为了解决这些问题，本文利用了语言知识的信息性和可扩展性。具体来说，我们分析LT CIL数据分布，以指导大型语言模型(LLM)生成一个分层语言树，该树以分层方式组织从粗到细粒度的语义信息。在此结构的基础上，我们引入了分层自适应语言引导，它利用可学习的权重来合并多尺度语义表示，从而实现对尾部类的动态监督调整，并减轻数据不平衡的影响。此外，我们引入了分层对齐语言引导，它利用语言树的结构稳定性来约束优化并加强语义视觉对齐，从而减轻灾难性遗忘。在多个基准上的大量实验表明，我们的方法实现了最先进的性能。

🔬 方法详解

问题定义：长尾类增量学习（LT CIL）旨在解决在数据分布不平衡且类别不断增加的情况下，模型如何持续学习新知识，同时避免遗忘旧知识的问题。现有方法在尾部类别样本稀缺的情况下，学习效果差，且容易发生灾难性遗忘。

核心思路：论文的核心思路是利用大型语言模型（LLM）的语义知识来弥补视觉信息的不足。通过构建分层语言树，将类别语义信息从粗到细地组织起来，从而为视觉学习提供更丰富的指导信号，缓解数据不平衡和灾难性遗忘。

技术框架：整体框架包含以下几个主要模块：1) 数据分布分析模块，用于分析LT CIL的数据分布特征；2) 分层语言树生成模块，利用LLM生成分层结构的语义信息；3) 分层自适应语言引导模块，利用可学习权重融合多尺度语义表示，动态调整尾部类的监督信号；4) 分层对齐语言引导模块，利用语言树的结构稳定性约束优化，强化语义视觉对齐。

关键创新：最重要的技术创新点在于将分层语言知识引入到LT CIL中，并设计了分层自适应语言引导和分层对齐语言引导两种机制。与现有方法相比，该方法能够更有效地利用语义信息，缓解数据不平衡和灾难性遗忘。

关键设计：分层语言树的构建方式是关键设计之一，通过LLM生成类别描述，并利用层次聚类算法构建树结构。分层自适应语言引导模块中，可学习权重的初始化和更新策略也至关重要。损失函数的设计包括分类损失、知识蒸馏损失和语义对齐损失，用于优化模型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在多个LT CIL基准数据集上进行了实验，结果表明该方法显著优于现有方法。具体而言，在某些数据集上，该方法能够将性能提升5%以上，尤其是在尾部类别的识别精度方面有显著提升。实验结果验证了分层语言引导策略的有效性。

🎯 应用场景

该研究成果可应用于各种需要处理长尾数据和持续学习的场景，例如：智能监控系统中的异常事件检测、电商平台中的冷启动商品推荐、医疗诊断中的罕见疾病识别等。通过引入语言知识，可以提升模型在数据稀缺情况下的学习能力，并降低灾难性遗忘的风险，从而提高系统的鲁棒性和适应性。

📄 摘要（原文）

Long-tail class incremental learning (LT CIL) remains highly challenging because the scarcity of samples in tail classes not only hampers their learning but also exacerbates catastrophic forgetting under continuously evolving and imbalanced data distributions. To tackle these issues, we exploit the informativeness and scalability of language knowledge. Specifically, we analyze the LT CIL data distribution to guide large language models (LLMs) in generating a stratified language tree that hierarchically organizes semantic information from coarse to fine grained granularity. Building upon this structure, we introduce stratified adaptive language guidance, which leverages learnable weights to merge multi-scale semantic representations, thereby enabling dynamic supervisory adjustment for tail classes and alleviating the impact of data imbalance. Furthermore, we introduce stratified alignment language guidance, which exploits the structural stability of the language tree to constrain optimization and reinforce semantic visual alignment, thereby alleviating catastrophic forgetting. Extensive experiments on multiple benchmarks demonstrate that our method achieves state of the art performance.