Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning

📄 arXiv: 2310.04627v1 📥 PDF

作者: Liam Collins, Shanshan Wu, Sewoong Oh, Khe Chai Sim

分类: cs.LG

发布日期: 2023-10-06

💡 一句话要点

提出基准测试以解决联邦学习中的个性化与鲁棒性权衡问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 个性化模型 鲁棒性 提示调优 参数高效微调 数据异质性 自适应优化器

📋 核心要点

  1. 现有的联邦学习方法在个性化与鲁棒性之间存在显著的权衡，尤其是在数据异质性较高的情况下。
  2. 本文提出了一种基于基本联邦学习算法的基准测试方法，结合个性化微调以优化大型语言模型的提示调优。
  3. 实验结果显示，采用小学习率和多次本地训练周期的策略可以显著提高模型的鲁棒性和个性化效果。

📝 摘要（中文）

在联邦学习的许多应用中，客户端希望模型能够根据其本地数据进行个性化，同时保持一定的鲁棒性，即保留全局知识。然而，客户端之间的数据异质性导致个性化（适应本地分布）与鲁棒性（不遗忘先前学习的全局知识）之间存在根本的权衡。本文通过基准测试基本的联邦学习算法（FedAvg和FedSGD），结合个性化（通过客户端本地微调），应用于大型语言模型的提示调优，探讨了这一权衡。实验结果表明，使用小学习率和多个本地训练周期的联邦训练提示在个性化方面表现出意外的鲁棒性，尤其是在使用自适应优化器时。此外，简单的方法如添加正则化和插值两个提示在计算受限的环境中有效改善了个性化与鲁棒性之间的权衡。

🔬 方法详解

问题定义：本文旨在解决联邦学习中个性化与鲁棒性之间的权衡问题。现有方法在处理数据异质性时，往往无法有效兼顾这两者，导致模型性能下降。

核心思路：论文提出通过基准测试基本的联邦学习算法（FedAvg和FedSGD），结合个性化微调，来探索如何在不同超参数设置下优化个性化与鲁棒性之间的平衡。

技术框架：整体架构包括数据收集、模型训练、个性化微调和评估四个主要模块。首先收集客户端数据，然后应用联邦学习算法进行模型训练，接着进行个性化微调，最后评估模型性能。

关键创新：最重要的技术创新在于对联邦PEFT（参数高效微调）方法的个性化与鲁棒性权衡进行了系统的基准测试，填补了这一领域的研究空白。

关键设计：在实验中，采用了小学习率和多个本地训练周期的设置，并引入了自适应优化器。此外，添加正则化和提示插值等简单方法也被证明有效改善了个性化与鲁棒性之间的权衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用小学习率和多个本地训练周期的策略，联邦训练的提示在个性化方面表现出意外的鲁棒性，尤其是在使用自适应优化器时。此外，简单的正则化和提示插值方法有效改善了个性化与鲁棒性之间的权衡，显示出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括医疗、金融和智能设备等需要个性化模型的联邦学习场景。通过优化个性化与鲁棒性之间的权衡，能够提升模型在实际应用中的表现，增强用户体验。未来，该方法可扩展到更多复杂的联邦学习任务中，推动个性化AI的发展。

📄 摘要（原文）

In many applications of federated learning (FL), clients desire models that are personalized using their local data, yet are also robust in the sense that they retain general global knowledge. However, the presence of data heterogeneity across clients induces a fundamental trade-off between personalization (i.e., adaptation to a local distribution) and robustness (i.e., not forgetting previously learned general knowledge). It is critical to understand how to navigate this personalization vs robustness trade-off when designing federated systems, which are increasingly moving towards a paradigm of fine-tuning large foundation models. Due to limited computational and communication capabilities in most federated settings, this foundation model fine-tuning must be done using parameter-efficient fine-tuning (PEFT) approaches. While some recent work has studied federated approaches to PEFT, the personalization vs robustness trade-off of federated PEFT has been largely unexplored. In this work, we take a step towards bridging this gap by benchmarking fundamental FL algorithms -- FedAvg and FedSGD plus personalization (via client local fine-tuning) -- applied to one of the most ubiquitous PEFT approaches to large language models (LLMs) -- prompt tuning -- in a multitude of hyperparameter settings under varying levels of data heterogeneity. Our results show that federated-trained prompts can be surprisingly robust when using a small learning rate with many local epochs for personalization, especially when using an adaptive optimizer as the client optimizer during federated training. We also demonstrate that simple approaches such as adding regularization and interpolating two prompts are effective in improving the personalization vs robustness trade-off in computation-limited settings with few local updates allowed for personalization.