Edge-FIT: Federated Instruction Tuning of Quantized LLMs for Privacy-Preserving Smart Home Environments

📄 arXiv: 2510.03284v1 📥 PDF

作者: Vinay Venkatesh, Vamsidhar R Kamanuru, Lav Kumar, Nikita Kothari

分类: cs.LG, cs.AI

发布日期: 2025-09-28

备注: 7 pages, 1 figure

💡 一句话要点

Edge-FIT：面向隐私保护智能家居环境的量化LLM联邦指令调优

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 边缘计算 大型语言模型 量化 低秩自适应 隐私保护 智能家居

📋 核心要点

  1. 传统联邦学习方法难以应对LLM的巨大参数量，导致通信和计算开销过高。
  2. Edge-FIT结合联邦学习与4比特量化低秩自适应（QLORA），降低通信和计算成本。
  3. 实验表明，Edge-FIT调优的Llama 2(7B)在物联网领域数据集上取得了0.89的F1分数，验证了其有效性。

📝 摘要（中文）

本文提出Edge-FIT（边缘联邦指令调优），这是一个可扩展的LLM联邦指令调优（FIT）框架。传统的联邦学习（TFL）方法，如FedAvg，在面对LLM的大规模参数时会失效。我们的Edge-FIT框架结合了联邦学习与4比特量化低秩自适应（QLORA），缓解了通信和计算开销的核心问题。我们通过过滤通用Databricks Dolly 15k数据集用于物联网领域来验证这一点。实验结果表明，Edge-FIT调优的Llama 2(7B)实现了0.89的F1分数。我们还展示了使用3.8B Phi-3-mini模型的可行权衡，验证了Edge-FIT作为家庭计算网关上分散式LLM部署的可扩展框架。

🔬 方法详解

问题定义：论文旨在解决在智能家居等边缘计算环境中，如何以隐私保护的方式部署和微调大型语言模型（LLM）的问题。现有联邦学习方法在处理LLM时，由于模型参数量巨大，导致通信开销和计算资源需求过高，难以在资源受限的边缘设备上实现。

核心思路：论文的核心思路是将联邦学习与量化低秩自适应（QLORA）相结合。QLORA通过量化模型权重和引入低秩矩阵来减少模型参数量，从而降低通信和计算开销。联邦学习则保证了数据隐私，无需将用户数据上传到中心服务器。

技术框架：Edge-FIT框架包含以下主要步骤：1) 数据准备：针对特定应用场景（如智能家居），对通用数据集进行过滤和处理。2) 模型初始化：在边缘设备上部署预训练的LLM。3) 联邦训练：每个边缘设备使用本地数据进行QLORA微调，并将更新后的低秩矩阵发送到中心服务器。4) 模型聚合：中心服务器对接收到的低秩矩阵进行聚合，并将聚合后的结果发送回边缘设备。5) 模型部署：边缘设备使用聚合后的低秩矩阵更新本地LLM，完成模型部署。

关键创新：Edge-FIT的关键创新在于将QLORA引入到联邦学习框架中，从而解决了LLM在边缘设备上部署和微调的难题。与传统的联邦学习方法相比，Edge-FIT显著降低了通信和计算开销，使得在资源受限的边缘设备上部署LLM成为可能。

关键设计：论文使用了4比特量化来压缩模型权重，并引入了低秩矩阵来减少需要训练的参数量。具体来说，论文使用了Databricks Dolly 15k数据集，并针对物联网领域进行了过滤。实验中使用了Llama 2(7B)和Phi-3-mini(3.8B)模型，并评估了它们在物联网任务上的性能。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，Edge-FIT调优的Llama 2(7B)在物联网领域数据集上取得了0.89的F1分数，验证了该框架的有效性。此外，论文还展示了使用3.8B Phi-3-mini模型的可行权衡，表明Edge-FIT可以根据不同的资源约束选择合适的模型，实现性能和效率的平衡。

🎯 应用场景

Edge-FIT适用于各种隐私敏感的边缘计算场景，例如智能家居、医疗健康和金融服务。通过在本地设备上进行模型训练和推理，Edge-FIT可以保护用户数据隐私，并提供个性化的服务。该研究为在资源受限的边缘设备上部署LLM开辟了新的途径，有望推动人工智能在边缘计算领域的广泛应用。

📄 摘要（原文）

This paper proposes Edge-FIT (Federated Instruction Tuning on the Edge), a scalable framework for Federated Instruction Tuning (FIT) of Large Language Models (LLMs). Traditional Federated Learning (TFL) methods, like FedAvg, fail when confronted with the massive parameter size of LLMs [3], [6]. Our Edge-FIT framework combines federated learning with 4-bit Quantized Low-Rank Adaptation (QLORA), mitigating the core issues of communication and computational overhead. We demonstrate this by filtering the general-purpose Databricks Dolly 15k dataset for the IoT domain. Experimental results show the Edge-FIT tuned Llama 2(7B) achieves an F1-Score of 0.89. We also demonstrate a viable trade-off using the 3.8B Phi-3-mini model, validating Edge-FIT as a scalable framework for decentralized LLM deployment on home compute gateways.