Flexible Personalized Split Federated Learning for On-Device Fine-Tuning of Foundation Models

📄 arXiv: 2508.10349v1 📥 PDF

作者: Tianjun Yuan, Jiaxiang Geng, Pengchao Han, Xianhao Chen, Bing Luo

分类: cs.DC, cs.LG

发布日期: 2025-08-14

备注: 10 pages, Submitted to INFOCOM2026

💡 一句话要点

提出FlexP-SFL，用于在设备上对大模型进行灵活的个性化拆分联邦微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 拆分学习 个性化模型 大模型微调 资源异构 设备端学习 对齐策略

📋 核心要点

  1. 现有联邦学习方法难以有效应对客户端数据量少和数据分布异构的问题，阻碍了个性化下游任务中大模型的微调。
  2. FlexP-SFL通过拆分学习，允许客户端根据自身资源约束灵活地在本地训练部分模型，并将剩余部分卸载到服务器。
  3. 实验结果表明，FlexP-SFL在个性化微调效率和最终准确性方面均优于现有基线模型，验证了其有效性。

📝 摘要（中文）

本文提出了一种灵活的个性化联邦学习范式，旨在使客户端能够在保持个性化目标的同时参与协作学习，从而解决客户端数据有限和异构数据分布带来的挑战。针对客户端计算资源有限且异构的特点，本文引入了灵活的个性化拆分联邦学习（FlexP-SFL）。FlexP-SFL基于拆分学习，允许每个客户端根据资源约束在本地训练一部分模型，并将剩余部分卸载到服务器。此外，本文还提出了一种对齐策略，以提高个性化模型在全球数据上的性能。实验结果表明，FlexP-SFL在个性化微调效率和最终准确性方面优于基线模型。

🔬 方法详解

问题定义：论文旨在解决联邦学习场景下，客户端数据有限且异构，以及计算资源受限的问题。现有方法难以在保证个性化模型性能的同时，有效利用全局数据进行协作学习，尤其是在大模型微调的背景下。客户端的计算能力差异大，传统的联邦学习方法无法充分利用所有客户端的资源。

核心思路：论文的核心思路是利用拆分学习（Split Learning）的思想，将模型拆分成多个部分，允许客户端根据自身的计算资源能力选择在本地训练一部分模型，并将剩余部分卸载到服务器进行训练。通过这种方式，可以充分利用所有客户端的计算资源，同时减轻客户端的计算负担。此外，论文还提出了一种对齐策略，以提高个性化模型在全球数据上的泛化能力。

技术框架：FlexP-SFL的整体框架如下：1）服务器端初始化全局模型；2）客户端根据自身资源约束，确定本地训练的模型层数；3）客户端在本地训练部分模型，并将中间结果发送到服务器；4）服务器端训练剩余模型，并利用对齐策略提高模型泛化能力；5）服务器将更新后的模型参数发送给客户端；6）客户端更新本地模型参数。该过程迭代进行，直至模型收敛。

关键创新：FlexP-SFL的关键创新在于：1）提出了灵活的拆分学习策略，允许客户端根据自身资源约束选择本地训练的模型部分；2）设计了一种对齐策略，用于提高个性化模型在全球数据上的泛化能力。与传统的联邦学习方法相比，FlexP-SFL能够更好地适应客户端资源异构的场景，并提高个性化模型的性能。

关键设计：论文的关键设计包括：1）客户端本地训练模型层数的确定策略，可以根据客户端的CPU、GPU、内存等资源进行动态调整；2）对齐策略的具体实现方式，例如可以使用对比学习或知识蒸馏等方法，使个性化模型更好地适应全局数据分布；3）损失函数的设计，需要综合考虑个性化目标和全局目标，例如可以使用加权损失函数，平衡两个目标的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FlexP-SFL在个性化微调效率和最终准确性方面均优于基线模型。具体来说，FlexP-SFL在相同训练轮数下，能够达到更高的准确率，并且能够更好地适应客户端资源异构的场景。与传统的联邦学习方法相比，FlexP-SFL能够显著提高个性化模型的性能。

🎯 应用场景

FlexP-SFL可应用于各种需要个性化模型且数据分布在多个客户端上的场景，例如：智能医疗中，不同医院的患者数据可用于训练个性化的疾病预测模型；智能金融中，不同用户的交易数据可用于训练个性化的风险评估模型；智能推荐系统中，不同用户的行为数据可用于训练个性化的推荐模型。该研究有助于提升联邦学习在实际应用中的效果和效率。

📄 摘要（原文）

Fine-tuning foundation models is critical for superior performance on personalized downstream tasks, compared to using pre-trained models. Collaborative learning can leverage local clients' datasets for fine-tuning, but limited client data and heterogeneous data distributions hinder effective collaboration. To address the challenge, we propose a flexible personalized federated learning paradigm that enables clients to engage in collaborative learning while maintaining personalized objectives. Given the limited and heterogeneous computational resources available on clients, we introduce \textbf{flexible personalized split federated learning (FlexP-SFL)}. Based on split learning, FlexP-SFL allows each client to train a portion of the model locally while offloading the rest to a server, according to resource constraints. Additionally, we propose an alignment strategy to improve personalized model performance on global data. Experimental results show that FlexP-SFL outperforms baseline models in personalized fine-tuning efficiency and final accuracy.