Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization

📄 arXiv: 2310.15080v3 📥 PDF

作者: Tianshi Che, Ji Liu, Yang Zhou, Jiaxiang Ren, Jiwen Zhou, Victor S. Sheng, Huaiyu Dai, Dejing Dou

分类: cs.LG, cs.CL, cs.DC

发布日期: 2023-10-23 (更新: 2024-02-11)

备注: 18 pages, accepted by EMNLP 2023

🔗 代码/项目: GITHUB

💡 一句话要点

提出FedPepTAO以解决大语言模型的联邦学习效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 大语言模型 提示调优 自适应优化 客户端漂移 模型训练 效率提升

📋 核心要点

  1. 现有的联邦学习方法在处理大语言模型时面临参数更新量大、训练效率低等挑战。
  2. 本文提出FedPepTAO，通过高效的部分提示调优和自适应优化，解决了客户端漂移问题，提高了模型性能。
  3. 实验结果表明，FedPepTAO在准确性和训练时间上分别比9种基线方法提升了60.8%和97.59%。

📝 摘要（中文）

联邦学习（FL）是一种有前景的协作模型训练范式，适用于分散数据。然而，大语言模型（LLMs）的训练过程通常需要更新大量参数，这限制了FL技术在实际场景中的应用。尽管提示调优可以显著减少需要更新的参数数量，但往往会导致性能下降或训练效率低下。本文提出了一种参数高效的提示调优方法与自适应优化相结合的方案，即FedPepTAO，以实现LLMs的高效FL。通过在10个数据集上的广泛实验，FedPepTAO在准确性上提高了60.8%，在训练时间上提升了97.59%，显示出卓越的性能和效率。

🔬 方法详解

问题定义：本文旨在解决大语言模型在联邦学习中的训练效率低下和性能下降问题，现有方法在处理非独立同分布（non-IID）数据时表现不佳，导致客户端漂移现象。

核心思路：提出FedPepTAO，通过部分提示调优减少参数更新量，同时结合自适应优化方法，针对客户端漂移问题进行改进，以提升模型的整体性能和训练效率。

技术框架：FedPepTAO的整体架构包括两个主要模块：部分提示调优模块和自适应优化模块。部分提示调优模块负责优化参数更新，确保在减少通信成本的同时保持模型性能；自适应优化模块则在设备和服务器端共同作用，解决客户端漂移问题。

关键创新：FedPepTAO的核心创新在于其高效的部分提示调优方法和针对客户端漂移的自适应优化策略，这与传统的全参数更新方法形成鲜明对比，显著降低了通信开销并提高了训练效率。

关键设计：在设计中，部分提示调优采用了特定的参数选择策略，以确保在更新过程中最大限度地保留模型性能；自适应优化则引入了动态调整机制，根据客户端的反馈实时调整优化策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，FedPepTAO在准确性上相比于9种基线方法提升了60.8%，在训练时间上提升了97.59%。这些结果表明，FedPepTAO在效率和性能方面均表现出色，具有显著的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能助手和多模态学习等。通过提高大语言模型在联邦学习中的效率，FedPepTAO能够促进数据隐私保护的同时，提升模型在实际应用中的表现，具有重要的实际价值和未来影响。

📄 摘要（原文）

Federated learning (FL) is a promising paradigm to enable collaborative model training with decentralized data. However, the training process of Large Language Models (LLMs) generally incurs the update of significant parameters, which limits the applicability of FL techniques to tackle the LLMs in real scenarios. Prompt tuning can significantly reduce the number of parameters to update, but it either incurs performance degradation or low training efficiency. The straightforward utilization of prompt tuning in the FL often raises non-trivial communication costs and dramatically degrades performance. In addition, the decentralized data is generally non-Independent and Identically Distributed (non-IID), which brings client drift problems and thus poor performance. This paper proposes a Parameter-efficient prompt Tuning approach with Adaptive Optimization, i.e., FedPepTAO, to enable efficient and effective FL of LLMs. First, an efficient partial prompt tuning approach is proposed to improve performance and efficiency simultaneously. Second, a novel adaptive optimization method is developed to address the client drift problems on both the device and server sides to enhance performance further. Extensive experiments based on 10 datasets demonstrate the superb performance (up to 60.8\% in terms of accuracy) and efficiency (up to 97.59\% in terms of training time) of FedPepTAO compared with 9 baseline approaches. Our code is available at https://github.com/llm-eff/FedPepTAO.