Federated Data-Efficient Instruction Tuning for Large Language Models

📄 arXiv: 2410.10926v2 📥 PDF

作者: Zhen Qin, Zhaomin Wu, Bingsheng He, Shuiguang Deng

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-10-14 (更新: 2025-06-27)

备注: Accepted to ACL 2025 (Findings)

💡 一句话要点

提出FedHDS，一种联邦数据高效指令调优方法，提升LLM在边缘侧的训练效率和泛化能力。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 指令调优 大语言模型 数据高效 隐私保护

📋 核心要点

  1. 现有联邦学习指令调优方法存在计算开销大、易过拟合本地数据等问题。
  2. FedHDS通过选择边缘侧数据的代表性子集进行调优，降低数据冗余，提升训练效率。
  3. 实验表明，FedHDS在数据使用量极少的情况下，显著提升了LLM在未见任务上的性能。

📝 摘要（中文）

指令调优是提升预训练大语言模型（LLM）对人类指令响应能力的关键步骤。联邦学习（FL）通过利用来自客户端的大量私有指令数据，因其能提高数据多样性，已成为LLM调优的热门方法。现有的联邦调优方法简单地消耗所有本地数据，导致过度的计算开销和对本地数据的过拟合，而中心化的数据高效解决方案由于隐私问题不适用于FL。本研究提出了FedHDS，一种联邦数据高效指令调优方法，它使用边缘侧数据的代表性子集来调优LLM，在不共享原始数据的情况下，减少客户端内和客户端间的数据冗余。对各种LLM、数据集和分区的实验表明，FedHDS在未见任务上的Rouge-L指标比最先进的full-data联邦指令调优方法平均提高了10.72%，同时使用的数据样本不到1.5%，训练效率提高了数十倍。

🔬 方法详解

问题定义：现有联邦学习指令调优方法直接使用所有本地数据，导致计算资源浪费和模型过拟合。中心化的数据高效方法无法直接应用于联邦学习，因为它们需要共享原始数据，这违反了隐私保护原则。因此，如何在保护用户数据隐私的前提下，实现联邦学习中的数据高效指令调优，是一个亟待解决的问题。

核心思路：FedHDS的核心思路是在每个客户端选择具有代表性的数据子集进行训练，从而减少数据冗余，提高训练效率。通过在客户端内和客户端间两个层面减少数据冗余，FedHDS能够在保证模型性能的同时，显著降低计算开销。这种方法避免了直接共享原始数据，从而保护了用户隐私。

技术框架：FedHDS的整体框架包括以下几个主要阶段：1) 本地数据选择：每个客户端根据一定的策略（例如，基于聚类或重要性采样）从本地数据中选择具有代表性的数据子集。2) 本地模型训练：每个客户端使用选择的数据子集对本地模型进行训练。3) 模型聚合：服务器收集来自各个客户端的模型更新，并使用联邦平均等算法进行聚合，得到全局模型。4) 模型分发：服务器将全局模型分发给各个客户端，进行下一轮迭代。

关键创新：FedHDS的关键创新在于其数据高效的联邦学习方法，它通过在客户端内和客户端间两个层面减少数据冗余，从而显著提高了训练效率。与传统的联邦学习方法相比，FedHDS不需要使用所有本地数据进行训练，从而降低了计算开销和通信成本。此外，FedHDS还避免了直接共享原始数据，从而保护了用户隐私。

关键设计：FedHDS的关键设计包括：1) 数据选择策略：可以使用不同的数据选择策略，例如基于聚类的数据选择、基于重要性采样的数据选择等。2) 客户端内数据冗余消除：通过聚类等方法，选择每个簇的代表性样本，减少客户端内部的数据冗余。3) 客户端间数据冗余消除：通过某种相似度度量，减少不同客户端之间相似样本的重复训练。4) 联邦平均算法：可以使用不同的联邦平均算法，例如FedAvg、FedProx等。具体参数设置需要根据实际应用场景进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedHDS在各种LLM、数据集和分区设置下，均优于现有的full-data联邦指令调优方法。具体来说，FedHDS在未见任务上的Rouge-L指标平均提高了10.72%，同时使用的数据样本不到1.5%，训练效率提高了数十倍。这些结果表明，FedHDS是一种高效且有效的数据高效联邦学习方法。

🎯 应用场景

FedHDS可应用于各种需要利用大量分散数据进行LLM指令调优的场景，例如智能客服、个性化推荐、医疗诊断等。它能够在保护用户隐私的前提下，提高LLM的性能和效率，具有重要的实际应用价值。未来，该方法可以进一步扩展到其他类型的机器学习任务和模型。

📄 摘要（原文）

Instruction tuning is a crucial step in improving the responsiveness of pretrained large language models (LLMs) to human instructions. Federated learning (FL) helps to exploit the use of vast private instruction data from clients, becoming popular for LLM tuning by improving data diversity. Existing federated tuning simply consumes all local data, causing excessive computational overhead and overfitting to local data, while centralized data-efficient solutions are not suitable for FL due to privacy concerns. This work presents FedHDS, a federated data-efficient instruction tuning approach, which tunes LLMs with a representative subset of edge-side data. It reduces the data redundancy at both intra- and inter-client levels without sharing raw data. Experiments with various LLMs, datasets and partitions show that FedHDS improves Rouge-L on unseen tasks by an average of 10.72% over the SOTA full-data federated instruction tuning methods, while using less than 1.5% of the data samples, improving training efficiency by up to tens of times.