Prism: A Plug-in Reproducible Infrastructure for Scalable Multimodal Continual Instruction Tuning

📄 arXiv: 2605.26110v1 📥 PDF

作者: Jun-Tao Tang, Yu-Cheng Shi, Zhen-Hao Xie, Da-Wei Zhou

分类: cs.LG, cs.CL, cs.CV

发布日期: 2026-05-25

备注: Code is available at https://github.com/LAMDA-CL/Prism

🔗 代码/项目: GITHUB

💡 一句话要点

Prism：用于可扩展多模态持续指令微调的插件式可复现基础设施

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 持续学习 指令微调 大型语言模型 插件式架构

📋 核心要点

  1. 现有MCIT方法直接修改MLLM代码库，导致实现开销大、代码复用率低，阻碍了MCIT研究。
  2. Prism通过插件机制分离算法开发与骨干实现，无需修改MLLM代码库即可集成新策略。
  3. Prism支持大规模训练pipeline，实现可复现和可扩展的MCIT实验，加速方法开发。

📝 摘要（中文）

多模态大型语言模型（MLLM）通过将各种任务重新构建为统一的指令遵循框架，并通过指令微调来实现通用性。然而，实际部署需要持续适应新兴任务，这推动了多模态持续指令微调（MCIT）的发展。尽管MCIT的重要性日益增加，但当前的研究受到严重的工程瓶颈的阻碍。现有方法通常通过直接修改基础MLLM代码库来实现，这带来了巨大的实现开销，并产生了特定于方法的架构，严重限制了代码重用和公平比较。为了解决这个问题，我们引入了Prism，一个专门为可扩展MCIT研究设计的插件式可复现代码库。它通过轻量级的插件注册机制将算法开发与骨干实现分离，使新的策略能够作为独立的插件集成，而无需修改底层MLLM代码库，从而消除了结构碎片并加速了方法开发。Prism原生支持广泛使用的大规模训练pipeline，从而实现可复现和可扩展的MCIT实验。代码可在https://github.com/LAMDA-CL/Prism获取。

🔬 方法详解

问题定义：多模态持续指令微调(MCIT)旨在使MLLM能够持续适应新的任务。现有方法的痛点在于，它们通常需要直接修改底层MLLM的代码库，导致代码结构臃肿、难以维护，并且不同方法之间难以进行公平比较和代码复用。这种紧耦合的设计严重阻碍了MCIT领域的研究进展。

核心思路：Prism的核心思路是将算法开发与底层MLLM的实现解耦。通过引入插件机制，新的MCIT策略可以作为独立的模块插入到系统中，而无需修改MLLM的核心代码。这种模块化的设计提高了代码的可维护性、可复用性和可扩展性。

技术框架：Prism的技术框架主要包含以下几个部分：1) 底层MLLM骨干网络：可以是任何现有的MLLM模型。2) 插件注册机制：用于注册和管理各种MCIT策略插件。3) 训练pipeline：支持大规模分布式训练，并提供可复现的实验环境。4) 评估模块：用于评估不同MCIT策略的性能。整体流程是，首先加载MLLM骨干网络，然后注册所需的MCIT策略插件，最后通过训练pipeline进行持续学习。

关键创新：Prism最重要的技术创新点在于其插件式的架构设计。与现有方法相比，Prism将算法开发与底层实现分离，极大地提高了代码的可维护性和可复用性。这种设计使得研究人员可以更加专注于算法本身的创新，而无需花费大量精力在底层代码的修改上。

关键设计：Prism的关键设计包括：1) 轻量级的插件注册机制，使得插件的添加和移除非常方便。2) 统一的API接口，使得不同的插件可以无缝地集成到系统中。3) 可配置的训练pipeline，支持不同的优化算法、学习率策略和数据增强方法。4) 详细的文档和示例代码，方便用户快速上手。

🖼️ 关键图片

fig_0

📊 实验亮点

Prism通过插件式架构，显著降低了MCIT研究的工程复杂度，提高了代码的可复用性和可扩展性。虽然论文中没有给出具体的性能数据，但其提供的可复现的实验环境和模块化的设计，为未来的MCIT研究奠定了坚实的基础，并加速了相关算法的开发和验证。

🎯 应用场景

Prism可应用于各种需要持续学习的多模态任务场景，例如智能客服、自动驾驶、医疗诊断等。通过不断学习新的任务和数据，MLLM可以更好地适应真实世界的复杂环境，提供更加智能和个性化的服务。该研究有助于推动通用人工智能的发展。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) achieve versatility by reformulating diverse tasks into a unified instruction-following framework via instruction tuning. However, real-world deployment requires continuous adaptation to emerging tasks, motivating Multimodal Continual Instruction Tuning (MCIT). Despite its growing importance, current MCIT research is hindered by severe engineering bottlenecks. Existing methods are typically implemented by directly modifying the base MLLM codebase, which imposes substantial implementation overhead and yields method-specific architectures that severely limit code reuse and fair comparison. To address this, we introduce Prism, a plug-in reproducible codebase specifically designed for scalable MCIT research. It separates algorithmic development from the backbone implementation via a lightweight plugin registration mechanism, enabling new strategies to be integrated as independent plugins without modifying the underlying MLLM codebase, thereby eliminating structural fragmentation and accelerating method development. Prism natively supports widely used large-scale training pipeline, thereby enabling reproducible and scalable MCIT experimentation. Code is available at https://github.com/LAMDA-CL/Prism.