FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

📄 arXiv: 2604.19015v1 📥 PDF

作者: Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

分类: cs.LG, cs.AI

发布日期: 2026-04-21

💡 一句话要点

FedProxy：通过代理SLM和异构感知融合实现LLM的联邦微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 大型语言模型 模型压缩 知识蒸馏 异构数据 隐私保护 代理模型

📋 核心要点

  1. 现有联邦微调LLM的方法，如Offsite-Tuning，在保护知识产权的同时，性能远低于集中式训练。
  2. FedProxy通过引入代理小型语言模型（SLM）作为LLM的替代，进行联邦微调，提升性能。
  3. FedProxy采用三阶段架构，包括高效表示、鲁棒优化和轻松融合，实验表明其性能显著优于现有方法。

📝 摘要（中文）

大型语言模型（LLM）的联邦微调面临三重挑战：保护LLM的知识产权（IP）、确保客户端隐私以及减轻异构数据带来的性能损失。现有的Offsite-Tuning（OT）等方法通过让客户端仅训练轻量级适配器来保护LLM的IP，但我们的分析表明，它们存在根本的性能瓶颈，与集中式训练相比存在显著差距。为了弥合这一差距，我们提出了FedProxy，一种新的联邦适应框架。FedProxy用统一的、强大的代理小型语言模型（SLM）取代了弱适配器，该SLM从专有的LLM压缩而来，作为协作微调的高保真替代品。我们的框架通过一个三阶段架构系统地解决了这个三重困境：（i）通过服务器引导的压缩实现高效表示，以创建一个资源友好的代理；（ii）通过干扰缓解聚合策略实现鲁棒优化，以处理数据异构性；（iii）通过免训练的“即插即用”机制实现轻松融合，将学习到的知识集成回LLM。实验表明，FedProxy显著优于OT方法，并接近集中式性能，为安全和高性能的联邦LLM适应建立了一个新的基准。

🔬 方法详解

问题定义：联邦微调大型语言模型（LLM）面临保护LLM知识产权、确保客户端隐私以及处理异构数据带来的性能损失这三重挑战。现有的Offsite-Tuning (OT) 方法虽然保护了LLM的知识产权，但由于只训练轻量级适配器，导致性能远低于集中式训练，存在显著的性能瓶颈。

核心思路：FedProxy的核心思路是使用一个小型语言模型（SLM）作为LLM的代理，在联邦学习过程中对SLM进行微调。这个SLM是通过对LLM进行压缩得到的，能够较好地保留LLM的知识，同时降低计算成本。通过在客户端训练SLM，可以保护LLM的知识产权和客户端隐私，并通过异构感知的聚合策略来处理数据异构性。

技术框架：FedProxy框架包含三个主要阶段：（1）高效表示：服务器引导的压缩，从LLM中提取并创建一个资源友好的代理SLM。（2）鲁棒优化：在客户端使用本地数据对SLM进行微调，并采用干扰缓解聚合策略来处理数据异构性，将客户端的更新聚合到服务器。（3）轻松融合：将学习到的知识通过免训练的“即插即用”机制集成回LLM。

关键创新：FedProxy的关键创新在于使用代理SLM代替轻量级适配器进行联邦微调。与OT方法相比，SLM具有更强的表达能力，能够更好地学习LLM的知识。此外，FedProxy还提出了一个干扰缓解聚合策略，可以有效地处理数据异构性。

关键设计：在高效表示阶段，采用了服务器引导的压缩技术，具体压缩方法未知。在鲁棒优化阶段，采用了干扰缓解聚合策略，具体实现细节未知。在轻松融合阶段，采用免训练的“即插即用”机制，具体实现细节未知。损失函数和网络结构等细节在论文中未明确说明。

📊 实验亮点

实验结果表明，FedProxy显著优于现有的Offsite-Tuning (OT) 方法，并且性能接近集中式训练。具体性能数据和提升幅度在摘要中有所提及，但未给出具体数值。FedProxy为安全和高性能的联邦LLM适应建立了一个新的基准。

🎯 应用场景

FedProxy具有广泛的应用前景，例如在金融、医疗等对数据隐私和安全要求较高的领域，可以利用该框架对LLM进行联邦微调，从而提升模型在特定领域的性能，同时保护用户数据隐私。该研究有助于推动LLM在各个行业的应用，并促进联邦学习技术的发展。

📄 摘要（原文）

Federated fine-tuning of Large Language Models (LLMs) is obstructed by a trilemma of challenges: protecting LLMs intellectual property (IP), ensuring client privacy, and mitigating performance loss on heterogeneous data. Existing methods like Offsite-Tuning (OT) secure the LLMs IP by having clients train only lightweight adapters, yet our analysis reveals they suffer from a fundamental performance bottleneck, leaving a significant gap compared to centralized training. To bridge this gap, we introduce FedProxy, a new federated adaptation framework. FedProxy replaces weak adapters with a unified, powerful Proxy Small Language Model (SLM), compressed from the proprietary LLM, to serve as a high-fidelity surrogate for collaborative fine-tuning. Our framework systematically resolves the trilemma through a three-stage architecture: (i) Efficient Representation via server-guided compression to create a resource-friendly proxy; (ii) Robust Optimization through an interference-mitigating aggregation strategy to handle data heterogeneity; and (iii) Effortless Fusion via a training-free "plug-in" mechanism to integrate learned knowledge back into the LLM. Experiments show FedProxy significantly outperforms OT methods and approaches centralized performance, establishing a new benchmark for secure and high-performance federated LLM adaptation.