SplitFT: An Adaptive Federated Split Learning System For LLMs Fine-Tuning

📄 arXiv: 2604.26388v1 📥 PDF

作者: Yimeng Shan, Zhaorui Zhang, Sheng Di, Yu Liu, Xiaoyi Lu, Benben Liu

分类: cs.DC, cs.LG

发布日期: 2026-04-29

💡 一句话要点

SplitFT：一种自适应联邦切分学习系统，用于LLM的微调。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 切分学习 大型语言模型 微调 数据隐私 异构计算 LoRA

📋 核心要点

  1. 传统联邦学习在LLM微调中面临客户端算力不足和数据异构性挑战，且通信开销巨大。
  2. SplitFT通过自适应切分层设置和降低LoRA秩来解决异构性和通信瓶颈问题。
  3. 实验表明，SplitFT在微调效率和模型性能上优于现有方法，具有显著优势。

📝 摘要（中文）

联邦切分学习被认为是一种有效的解决经典联邦学习中客户端计算资源约束的方法，同时保证了数据所有者之间分布式模型训练的数据隐私。然而，当这种训练策略应用于大型语言模型（LLM）的微调时，它面临着一些关键挑战。这些挑战包括在不同客户端之间自适应地设置切分层，以解决数据和设备异构性问题，这会显著影响系统性能。此外，有效降低微调过程中的通信开销也是另一个挑战。目前还没有工作试图解决这些挑战。为了弥补这一差距，我们提出了SplitFT，一种用于LLM微调的自适应联邦切分学习系统。SplitFT使不同的客户端能够根据其计算资源和训练模型性能设置不同的切分层。SplitFT还提出降低切分层中的LoRA秩以减少通信开销。除了模拟真实应用中的异构数据外，我们还提出了一种基于长度的Dirichlet方法将训练数据划分到不同的客户端。大量的实验结果表明，基于各种流行的基准，我们提出的方法在微调时间效率和模型性能方面优于最先进的方法。

🔬 方法详解

问题定义：论文旨在解决联邦切分学习在大型语言模型（LLM）微调中面临的挑战，具体包括：1) 如何根据客户端的计算资源和数据特性自适应地设置切分层（cutlayer），以应对数据和设备异构性问题；2) 如何有效降低微调过程中的通信开销，提高训练效率。现有方法无法同时解决这两个问题，导致系统性能受限。

核心思路：SplitFT的核心思路是使每个客户端能够根据自身情况（计算资源、数据特性）自适应地选择切分层，并采用低秩适应（LoRA）技术来降低切分层产生的中间表示的维度，从而减少通信开销。这种自适应性和低秩近似的结合，旨在平衡模型性能、训练效率和通信成本。

技术框架：SplitFT的整体框架包括以下几个主要模块：1) 客户端切分层选择模块：根据客户端的计算资源和初步训练结果，自适应地选择合适的切分层；2) 局部训练模块：客户端使用本地数据训练切分层之前的模型部分；3) 中间表示传输模块：客户端将切分层输出的中间表示发送到服务器；4) 服务器聚合模块：服务器聚合来自不同客户端的中间表示，并训练切分层之后的模型部分；5) 模型更新与分发模块：服务器将更新后的模型参数发送回客户端。

关键创新：SplitFT的关键创新在于：1) 提出了自适应切分层选择机制，允许不同客户端根据自身情况选择不同的切分层，从而更好地适应数据和设备异构性；2) 引入了LoRA技术，降低了切分层中间表示的维度，显著减少了通信开销。这两种机制的结合，使得SplitFT能够在保证模型性能的同时，显著提高训练效率。

关键设计：在切分层选择方面，论文可能采用了一种基于性能指标（如验证集准确率）和资源约束（如计算时间）的搜索算法。LoRA的具体实现可能涉及调整LoRA的秩（rank）大小，以平衡通信开销和模型性能。此外，论文还提出了一种基于长度的Dirichlet数据划分方法，用于模拟真实场景中的异构数据分布。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SplitFT在LLM微调任务中，相较于传统联邦学习方法，显著提升了训练效率和模型性能。具体而言，SplitFT在保证模型准确率的前提下，微调时间效率提升了X%（具体数值未知），并且在多个流行基准测试上取得了更优的结果。自适应切分层和LoRA降秩策略的有效性得到了验证。

🎯 应用场景

SplitFT可应用于各种需要保护数据隐私且计算资源受限的LLM微调场景，例如：金融风控、医疗诊断、智能客服等。通过联邦切分学习，可以在不暴露用户数据的前提下，利用分布式数据训练高性能的LLM模型，提升业务效果，并促进人工智能技术在各行业的应用。

📄 摘要（原文）

Federated Split Learning has been identified as an efficient approach to address the computational resource constraints of clients in classical federated learning, while guaranteeing data privacy for distributed model training across data owners. However, it faces some critical challenges when such a training strategy meets large language models (LLMs) for fine-tuning. Such challenges include setting the cutlayer adaptively across different clients to address the data and device heterogeneity issues, which affect the system performance significantly. In addition, efficiently reducing the communication overhead during the fine-tuning procedure is also another challenge. No work tries to address these challenges. To bridge this gap, we propose SplitTF, an adaptive federated split learning system for LLMs fine-tuning. SplitFT enables different clients to set different cut layers according to their computation resources and trained model performance. SplitFT also proposes to reduce the LoRA rank in cutlayer to reduce the communication overhead. In addition to simulating the heterogeneous data in real-world applications for our proposed split federated learning system, we propose a length-based Dirichlet approach to divide the training data into different clients. Extensive experimental results show that our proposed approach outperforms the state-of-the-art approach for fine-tuning time efficiency and model performance based on various popular benchmarks.