Pilot: Building the Federated Multimodal Instruction Tuning Framework

📄 arXiv: 2501.13985v1 📥 PDF

作者: Baochen Xiong, Xiaoshan Yang, Yaguang Song, Yaowei Wang, Changsheng Xu

分类: cs.LG, cs.AI, cs.CV

发布日期: 2025-01-23

💡 一句话要点

提出Pilot联邦多模态指令调优框架，解决分布式设备上多模态大语言模型的协同微调问题。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 多模态学习 指令调优 大语言模型 跨任务学习 适配器 参数聚合

📋 核心要点

  1. 现有方法难以在分布式设备上协同微调多模态大语言模型，尤其是在数据异构和任务差异大的情况下。
  2. Pilot框架通过“adapter on adapter”机制和跨任务混合适配器，使客户端能学习个性化和通用知识。
  3. 该框架引入自适应参数聚合策略，通过距离权重优化参数聚合，提升模型性能并减少负面影响。

📝 摘要（中文）

本文提出了一种新的联邦多模态指令调优任务(FedMIT)，该任务对于在分布式设备上协同微调多模态大语言模型(MLLM)具有重要意义。为了解决这一新任务，我们提出了一个联邦多模态指令调优框架(Pilot)。我们的框架将“adapter on adapter”的两阶段方法集成到视觉编码器和LLM的连接器中。在第一阶段，我们从视觉信息中提取特定于任务的特征和特定于客户端的特征。在第二阶段，我们构建了跨任务的混合适配器(CT-MoA)模块来执行跨任务交互。每个客户端不仅可以捕获本地数据的个性化信息并学习与任务相关的多模态信息，还可以从其他任务中学习通用知识。此外，我们为文本训练参数引入了一种自适应参数聚合策略，该策略通过计算基于参数之间欧几里得距离的权重来优化参数聚合，从而使参数聚合可以从积极影响中受益，同时有效减少消极影响。我们的框架可以协同利用来自不同本地客户端的分布式数据来学习跨任务知识，而不会受到指令调优期间任务异构性的影响。我们的方法在两种不同的跨任务场景中得到了验证。

🔬 方法详解

问题定义：论文旨在解决联邦多模态指令调优(FedMIT)任务，即在分布式设备上，利用不同类型的多模态指令数据，协同微调多模态大语言模型。现有方法难以有效处理数据异构性（不同客户端数据分布不同）和任务异构性（不同客户端执行的任务不同）带来的挑战，导致模型性能下降。

核心思路：论文的核心思路是设计一个能够有效提取任务特定和客户端特定特征，并进行跨任务知识共享的联邦学习框架。通过“adapter on adapter”机制，框架能够更好地适应不同客户端的数据和任务特点。同时，引入跨任务混合适配器(CT-MoA)模块，促进不同任务之间的知识迁移。

技术框架：Pilot框架主要包含以下几个模块：1) 视觉编码器：用于提取视觉特征。2) 连接器：包含两阶段的“adapter on adapter”机制，第一阶段提取任务特定和客户端特定特征，第二阶段使用CT-MoA进行跨任务交互。3) 大语言模型(LLM)：接收视觉特征和文本指令，生成相应的输出。4) 自适应参数聚合策略：用于聚合不同客户端的文本训练参数，优化聚合过程。

关键创新：论文的关键创新在于：1) 提出了FedMIT任务，填补了联邦多模态指令调优领域的空白。2) 设计了“adapter on adapter”机制和CT-MoA模块，实现了任务特定和客户端特定特征的有效提取和跨任务知识共享。3) 引入了自适应参数聚合策略，提高了参数聚合的效率和效果。

关键设计：在“adapter on adapter”机制中，第一阶段的adapter用于提取任务和客户端的个性化特征，第二阶段的CT-MoA模块通过混合不同任务的适配器来实现跨任务知识共享。自适应参数聚合策略基于参数之间的欧几里得距离计算权重，距离越近的参数权重越高，从而实现更有效的参数聚合。具体的损失函数和网络结构细节在论文中未明确给出，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在两种不同的跨任务场景中验证了Pilot框架的有效性。具体性能数据和对比基线未在摘要中给出，属于未知信息。但摘要强调该框架能够协同利用分布式数据学习跨任务知识，且不受任务异构性的影响，表明其具有良好的泛化能力。

🎯 应用场景

该研究成果可应用于医疗影像诊断、智能客服、自动驾驶等领域。例如，在医疗影像诊断中，可以利用不同医院的影像数据，协同训练一个更准确的诊断模型，同时保护患者隐私。在智能客服中，可以利用不同用户的对话数据，训练一个更智能的客服机器人，提供更个性化的服务。

📄 摘要（原文）

In this paper, we explore a novel federated multimodal instruction tuning task(FedMIT), which is significant for collaboratively fine-tuning MLLMs on different types of multimodal instruction data on distributed devices. To solve the new task, we propose a federated multimodal instruction tuning framework(Pilot). Our framework integrates two stages of "adapter on adapter" into the connector of the vision encoder and the LLM. In stage 1, we extract task-specific features and client-specific features from visual information. In stage 2, we build the cross-task Mixture-of-Adapters(CT-MoA) module to perform cross-task interaction. Each client can not only capture personalized information of local data and learn task-related multimodal information, but also learn general knowledge from other tasks. In addition, we introduce an adaptive parameter aggregation strategy for text training parameters, which optimizes parameter aggregation by calculating weights based on the euclidean distance between parameters, so that parameter aggregation can benefit from positive effects to the greatest extent while effectively reducing negative effects. Our framework can collaboratively exploit distributed data from different local clients to learn cross-task knowledge without being affected by the task heterogeneity during instruction tuning. The effectiveness of our method is verified in two different cross-task scenarios.