A Survey on Split Learning for LLM Fine-Tuning: Models, Systems, and Privacy Optimizations

📄 arXiv: 2604.24468v1 📥 PDF

作者: Zihan Liu, Yizhen Wang, Rui Wang, Xiu Tang, Sai Wu

分类: cs.CR, cs.CL, cs.DC, cs.LG

发布日期: 2026-04-27

💡 一句话要点

针对LLM微调的分裂学习综述：模型、系统与隐私优化

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 分裂学习 大型语言模型 微调 联邦学习 隐私保护 模型优化 系统优化 分布式训练

📋 核心要点

  1. 现有LLM微调计算成本高昂，资源受限组织难以负担，且直接使用云平台存在数据隐私泄露风险。
  2. 分裂学习将LLM模型分割在客户端和服务器，通过交换中间数据实现协作训练，保护数据隐私，降低计算需求。
  3. 该综述对LLM分裂学习的最新研究进行分类、比较和批判，涵盖模型优化、系统效率和隐私保护三个核心维度。

📝 摘要（中文）

微调能够解锁大型语言模型（LLM）在特定应用中的潜力，但其高昂的计算成本常常使资源受限的组织难以承受。云平台虽然可以提供所需的资源，但数据隐私问题使得与第三方共享敏感信息存在风险。一个有前景的解决方案是用于LLM微调的分裂学习，它将模型分割在客户端和服务器之间，允许通过交换中间数据进行协作和安全训练，从而使资源受限的参与者能够安全地调整LLM。鉴于此，越来越多的文献涌现出来，以推进这种范式，为分裂学习引入各种模型方法、系统优化以及隐私防御-攻击技术。为了使该领域更加清晰和明确方向，需要进行全面的综述，以对这些不同的方法进行分类、比较和批判。本文通过提出第一个专门针对LLM微调的分裂学习的广泛综述来填补这一空白。我们提出了一个统一的、细粒度的训练流程，以查明关键的操作组件，并对三个核心维度（模型级优化、系统级效率和隐私保护）的最新工作进行系统的回顾。通过这种结构化的分类，我们为推进可扩展、鲁棒和安全的协作LLM适配奠定了基础。

🔬 方法详解

问题定义：论文旨在解决资源受限环境下，如何安全高效地对大型语言模型（LLM）进行微调的问题。现有方法，如完全在本地微调或将数据上传到云平台，分别面临计算资源不足和数据隐私泄露的挑战。分裂学习作为一种新兴方法，虽然具有潜力，但缺乏系统的梳理和分析。

核心思路：论文的核心思路是对现有的LLM分裂学习方法进行全面的综述和分类，从模型、系统和隐私三个维度分析其优缺点，为未来的研究提供指导。通过构建统一的训练流程，可以更清晰地理解不同方法的差异和联系。

技术框架：论文构建了一个统一的、细粒度的LLM分裂学习训练流程，该流程包含数据准备、模型分割、前向传播、反向传播、参数更新等关键步骤。在此基础上，论文对现有方法进行了分类，包括模型层面的优化（如知识蒸馏、模型压缩）、系统层面的优化（如通信优化、异构设备支持）和隐私保护技术（如差分隐私、同态加密）。

关键创新：该论文最重要的创新在于它是第一个专门针对LLM微调的分裂学习的全面综述。它系统地整理了现有方法，并从模型、系统和隐私三个维度进行了深入分析，为该领域的研究人员提供了一个清晰的路线图。与以往的综述相比，该论文更加关注LLM这一特定领域，并深入探讨了分裂学习在LLM微调中的应用。

关键设计：论文的关键设计在于构建了一个统一的训练流程，用于分析和比较不同的分裂学习方法。此外，论文还对现有方法进行了细致的分类，并对每种方法的优缺点进行了深入的讨论。论文没有提出新的算法或模型，而是侧重于对现有技术的总结和分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该综述系统地整理了LLM分裂学习领域的研究进展，并从模型、系统和隐私三个维度进行了深入分析。虽然论文本身没有提供具体的实验数据，但它总结了现有研究的实验结果，并指出了未来研究的方向。例如，论文强调了在保证隐私的前提下，如何提高通信效率和模型精度是未来研究的关键挑战。

🎯 应用场景

该研究成果可应用于金融、医疗等对数据隐私要求高的领域，在这些领域，机构可以在保护用户数据的前提下，利用LLM进行个性化服务、风险评估、疾病诊断等。此外，该综述可以指导研究人员开发更高效、更安全的LLM分裂学习方法，推动LLM在资源受限环境下的应用。

📄 摘要（原文）

Fine-tuning unlocks large language models (LLMs) for specialized applications, but its high computational cost often puts it out of reach for resource-constrained organizations. While cloud platforms could provide the needed resources, data privacy concerns make sharing sensitive information with third parties risky. A promising solution is split learning for LLM fine-tuning, which divides the model between clients and a server, allowing collaborative and secure training through exchanged intermediate data, thus enabling resource-constrained participants to adapt LLMs safely. % In light of this, a growing body of literature has emerged to advance this paradigm, introducing varied model methods, system optimizations, and privacy defense-attack techniques for split learning. To bring clarity and direction to the field, a comprehensive survey is needed to classify, compare, and critique these diverse approaches. This paper fills the gap by presenting the first extensive survey dedicated to split learning for LLM fine-tuning. We propose a unified, fine-grained training pipeline to pinpoint key operational components and conduct a systematic review of state-of-the-art work across three core dimensions: model-level optimization, system-level efficiency, and privacy preservation. Through this structured taxonomy, we establish a foundation for advancing scalable, robust, and secure collaborative LLM adaptation.