MCIGLE: Multimodal Exemplar-Free Class-Incremental Graph Learning

📄 arXiv: 2509.06219v1 📥 PDF

作者: Haochen You, Baojing Liu

分类: cs.LG, cs.MM

发布日期: 2025-09-07

备注: Accepted as a conference paper at KSEM 2025

💡 一句话要点

提出MCIGLE框架，解决多模态图结构数据上的无样本类增量学习难题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 无样本学习 类增量学习 多模态学习 图神经网络 知识保留

📋 核心要点

  1. 现有无样本类增量学习方法难以处理多模态图结构数据，面临灾难性遗忘和泛化性弱等问题。
  2. MCIGLE框架通过提取对齐多模态图特征，并使用级联递归最小二乘法来保留知识，解决上述问题。
  3. 实验结果表明，MCIGLE在公共数据集上表现出良好的有效性和泛化能力，验证了其优越性。

📝 摘要（中文）

本文提出了一种名为MCIGLE的新框架，用于解决无样本类增量学习问题，尤其是在多模态图结构数据日益普及的背景下。现有方法面临着灾难性遗忘、分布偏差、内存限制和泛化能力弱等挑战。MCIGLE通过提取和对齐多模态图特征，并应用级联递归最小二乘法（Concatenated Recursive Least Squares）来实现有效的知识保留，从而解决这些问题。通过多通道处理，MCIGLE平衡了准确性和内存保留。在公共数据集上的实验验证了其有效性和泛化能力。

🔬 方法详解

问题定义：论文旨在解决多模态图结构数据上的无样本类增量学习问题。现有的无样本类增量学习方法在处理此类数据时，面临着灾难性遗忘、分布偏差、内存限制以及泛化能力弱等痛点。这些问题限制了模型在不断学习新类别的同时，保持对旧类别知识的能力。

核心思路：MCIGLE的核心思路是通过提取和对齐多模态图特征，并结合级联递归最小二乘法（Concatenated Recursive Least Squares）来实现知识的有效保留。多模态特征提取和对齐旨在整合不同模态的信息，从而更全面地表示数据。级联递归最小二乘法用于在学习新类别的同时，减少对旧类别知识的遗忘。

技术框架：MCIGLE框架包含以下主要模块：1) 多模态图特征提取模块：用于从多模态图数据中提取特征。2) 特征对齐模块：用于对齐不同模态的特征，使其具有可比性。3) 知识保留模块：采用级联递归最小二乘法，用于在学习新类别的同时，保留旧类别的知识。4) 分类器：用于对数据进行分类。整体流程是，首先提取和对齐多模态图特征，然后使用级联递归最小二乘法更新模型参数，最后使用分类器进行分类。

关键创新：MCIGLE的关键创新在于将多模态图特征提取与级联递归最小二乘法相结合，用于解决无样本类增量学习问题。与现有方法相比，MCIGLE能够更好地处理多模态数据，并有效地减少灾难性遗忘。此外，多通道处理的设计平衡了准确性和内存占用。

关键设计：论文中关于参数设置、损失函数和网络结构的具体技术细节未知。但可以推测，特征提取模块可能采用图神经网络（GNN）等技术，损失函数可能包含分类损失和知识蒸馏损失，以促进知识保留。级联递归最小二乘法的具体实现方式和参数设置也是关键的设计细节，但论文摘要中未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过在公共数据集上进行实验，验证了MCIGLE框架的有效性和泛化能力。具体的性能数据、对比基线和提升幅度在摘要中未给出，需要查阅论文全文才能得知。但摘要明确指出，实验结果表明MCIGLE能够有效地平衡准确性和内存保留，优于现有方法。

🎯 应用场景

MCIGLE框架可应用于多种涉及多模态图结构数据的场景，例如社交网络分析、生物信息学、推荐系统等。在社交网络中，可以利用用户的文本、图像和社交关系等多模态信息进行用户画像和行为预测。在生物信息学中，可以结合基因表达数据、蛋白质相互作用网络等信息进行疾病诊断和药物发现。该研究具有重要的实际价值，能够提升相关领域模型的性能和泛化能力。

📄 摘要（原文）

Exemplar-free class-incremental learning enables models to learn new classes over time without storing data from old ones. As multimodal graph-structured data becomes increasingly prevalent, existing methods struggle with challenges like catastrophic forgetting, distribution bias, memory limits, and weak generalization. We propose MCIGLE, a novel framework that addresses these issues by extracting and aligning multimodal graph features and applying Concatenated Recursive Least Squares for effective knowledge retention. Through multi-channel processing, MCIGLE balances accuracy and memory preservation. Experiments on public datasets validate its effectiveness and generalizability.