FedSkillGit: Federated Skill Evolution via Version Control
作者: Boxun Lan, Jiamei Li, Weijian Li, Chengyu Yang, Zhuang Qi, Chengcheng Wan, Xiaohong Chen, Ming Hu
分类: cs.AI
发布日期: 2026-10-15
💡 一句话要点
提出FedSkillGit以解决联邦技能演化中的数据隐私问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 联邦学习 技能演化 隐私保护 补丁更新 自然语言处理 大型语言模型 通信效率
📋 核心要点
- 现有的技能演化方法通过完整文档更新，导致数据隐私风险和通信效率低下。
- FedSkillGit框架通过提交补丁和本地经验，替代完整文档更新，增强了隐私保护和效率。
- 实验结果显示，FedSkillGit在多个数据集上性能提升显著，接近集中式演化效果。
📝 摘要（中文）
大型语言模型代理可以通过执行经验演化可重用的自然语言技能。在实际应用中，这些经验分布在无法共享原始数据的数据拥有者之间，这促使了联邦技能演化的需求。现有方法通过完整文档更新进行演化，但存在三个主要问题：演化文档可能包含特定于客户端的内容，重复传输几乎未改变的文档浪费通信资源，以及单个客户端的贡献难以被服务器有效归因。为此，本文提出了FedSkillGit框架，通过提交补丁而非完整文档更新来实现技能演化。每个参与客户端提交一组有限的补丁和本地经验，经过隐私过滤后上传，服务器去重并更新全球经验文档，最终生成候选技能并进行评估。实验表明，FedSkillGit在三个数据集和三种语言模型上表现优于现有方法，提升幅度可达22%。
🔬 方法详解
问题定义：本文旨在解决联邦学习中技能演化的隐私问题与效率低下。现有方法通过完整文档更新，导致客户端特定内容泄露、通信资源浪费及贡献归因困难等痛点。
核心思路：FedSkillGit框架的核心思路是用补丁替代完整文档更新，允许客户端提交有限的补丁和本地经验，从而在保护隐私的同时提高通信效率。
技术框架：FedSkillGit的整体架构包括两个主要阶段：客户端阶段和服务器阶段。在客户端，用户生成补丁和本地经验，并通过隐私过滤后上传；在服务器，去重并更新全球经验文档，合并补丁生成候选技能。
关键创新：FedSkillGit的关键创新在于通过补丁提交机制替代完整文档更新，显著降低了隐私泄露风险，并提高了通信效率。这一设计与现有方法形成了本质区别。
关键设计：在技术细节上，FedSkillGit设置了补丁的大小限制，并采用了两阶段隐私过滤机制，确保上传内容的安全性和有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，FedSkillGit在三个数据集和三种语言模型上相较于最先进的基线方法提升了最多22%的性能，且在不共享原始客户端数据的情况下，接近集中式演化的效果，展现了其有效性和实用性。
🎯 应用场景
FedSkillGit框架在多个领域具有广泛的应用潜力，尤其是在需要保护用户隐私的场景中，如医疗、金融和个性化服务等。通过有效的技能演化，该框架能够提升智能代理的能力，推动智能系统的进一步发展。
📄 摘要（原文）
Large language model agents can improve their capabilities by evolving reusable natural-language skills from execution experience. In real-world deployments, this experience is distributed across data owners who cannot pool their raw data, which motivates federated skill evolution. The natural first design lets each client evolve the whole skill document and upload the result for server-side aggregation. That design is poorly matched to skill evolution for three reasons. An evolved document can still carry client-specific content distilled from private traces, repeated transmission of a nearly unchanged document spends communication on knowledge that the population already holds and the contribution of a single client is buried in a document that the server cannot meaningfully attribute. We propose FedSkillGit, a federated skill evolution framework that replaces full-document updates with commits. Each participating client submits a bounded set of patches over named rules together with its local experience, which summarizes what the round taught it, and the pair passes a two-stage privacy filter before it leaves the client. The server deduplicates the submitted patches and the local experience of all participants, updates a global experience document that only the optimizers read, and merges the surviving patches into a candidate skill. The candidate is distributed to the clients, which score it on their own validation sets and report the results, and it is published only when the reported scores improve on the current version. Experiments on three datasets and three language model families show that FedSkillGit outperforms state-of-the-art baselines by up to 22% and approaches centralized evolution without sharing raw client data.