When Large Multimodal Models Confront Evolving Knowledge:Challenges and Pathways

📄 arXiv: 2505.24449v1 📥 PDF

作者: Kailin Jiang, Yuntao Du, Yukai Ding, Yuchen Ren, Ning Jiang, Zhi Gao, Zilong Zheng, Lei Liu, Bin Li, Qing Li

分类: cs.CL

发布日期: 2025-05-30

💡 一句话要点

提出EVOKE基准，评估多模态大模型在演进知识注入中的能力与挑战。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 知识注入 演进知识 灾难性遗忘 持续学习 大模型 基准测试

📋 核心要点

  1. 现有知识注入方法难以应对多模态大模型中演进知识的挑战，导致灾难性遗忘和指令遵循能力下降。
  2. 论文提出EVOKE基准，用于评估LMM在真实场景中注入多模态演进知识的能力，并探索有效的知识注入方法。
  3. 实验表明，文本知识增强和持续学习方法（如Replay和MoELoRA）能有效缓解灾难性遗忘，提升模型性能。

📝 摘要（中文）

大型语言/多模态模型（LLM/LMM）存储了大量的预训练知识，但难以与现实世界的更新保持一致，在获取演进知识时难以避免灾难性遗忘。以往的工作主要集中在构建文本知识数据集和探索LLM中的知识注入，缺乏对LMM中多模态演进知识注入的探索。为了解决这个问题，我们提出了EVOKE基准，以评估LMM在真实场景中注入多模态演进知识的能力。同时，对多模态演进知识注入的全面评估揭示了两个挑战：（1）现有的知识注入方法在演进知识上表现非常糟糕。（2）监督微调会导致灾难性遗忘，特别是指令遵循能力受到严重损害。此外，我们提供了研究方向，发现：（1）训练阶段的文本知识增强可以提高性能，而图像增强无法实现。（2）持续学习方法，特别是Replay和MoELoRA，有效地缓解了遗忘。我们的发现表明，当前的知识注入方法在演进知识方面存在许多局限性，这促使人们进一步研究更有效和稳定的知识注入方法。

🔬 方法详解

问题定义：论文旨在解决大型多模态模型（LMM）在面对不断演进的知识时，难以有效注入新知识并保持原有知识的问题。现有的知识注入方法在处理演进知识时表现不佳，并且通过监督微调进行知识更新会导致灾难性遗忘，尤其严重损害了模型的指令遵循能力。

核心思路：论文的核心思路是构建一个专门用于评估LMM在演进知识注入方面的基准（EVOKE），并通过该基准来系统地研究现有知识注入方法的不足，并探索新的、更有效的知识注入策略。同时，论文关注如何缓解在知识更新过程中出现的灾难性遗忘问题。

技术框架：论文主要包含以下几个部分：1) 构建EVOKE基准，该基准包含多模态的演进知识；2) 使用EVOKE基准评估现有知识注入方法在LMM上的表现；3) 分析现有方法在演进知识注入方面的挑战；4) 探索可能的解决方案，包括文本/图像增强和持续学习方法。

关键创新：论文的关键创新在于：1) 提出了EVOKE基准，这是首个专门用于评估LMM在多模态演进知识注入方面的基准；2) 系统地评估了现有知识注入方法在演进知识方面的局限性，并指出了灾难性遗忘是主要挑战；3) 探索了文本知识增强和持续学习方法在缓解灾难性遗忘方面的有效性。

关键设计：在实验设计方面，论文对比了不同的知识注入方法，并考察了文本和图像增强对模型性能的影响。此外，论文还研究了不同的持续学习策略（如Replay和MoELoRA）在缓解灾难性遗忘方面的效果。具体的参数设置和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，现有的知识注入方法在EVOKE基准上表现不佳，监督微调会导致严重的灾难性遗忘。文本知识增强在提升模型性能方面有效，而图像增强效果不明显。持续学习方法，特别是Replay和MoELoRA，能够有效缓解灾难性遗忘，提升模型在演进知识注入后的性能。

🎯 应用场景

该研究成果可应用于需要持续学习和更新知识的多模态人工智能系统，例如智能客服、自动驾驶、医疗诊断等领域。通过提升LMM在演进知识注入方面的能力，可以使其更好地适应快速变化的世界，提供更准确、更可靠的服务。

📄 摘要（原文）

Large language/multimodal models (LLMs/LMMs) store extensive pre-trained knowledge but struggle to maintain consistency with real-world updates, making it difficult to avoid catastrophic forgetting while acquiring evolving knowledge. Previous work focused on constructing textual knowledge datasets and exploring knowledge injection in LLMs, lacking exploration of multimodal evolving knowledge injection in LMMs. To address this, we propose the EVOKE benchmark to evaluate LMMs' ability to inject multimodal evolving knowledge in real-world scenarios. Meanwhile, a comprehensive evaluation of multimodal evolving knowledge injection revealed two challenges: (1) Existing knowledge injection methods perform terribly on evolving knowledge. (2) Supervised fine-tuning causes catastrophic forgetting, particularly instruction following ability is severely compromised. Additionally, we provide pathways and find that: (1) Text knowledge augmentation during the training phase improves performance, while image augmentation cannot achieve it. (2) Continual learning methods, especially Replay and MoELoRA, effectively mitigate forgetting. Our findings indicate that current knowledge injection methods have many limitations on evolving knowledge, which motivates further research on more efficient and stable knowledge injection methods.