Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge
作者: Songyuan Li, Jia Hu, Geyong Min, Haojun Huang
分类: cs.LG, cs.AI, cs.DC, cs.MA
发布日期: 2025-03-06 (更新: 2026-01-13)
备注: Accepted for publication in IEEE/ACM Transactions on Networking. Index Terms: Foundation models, Edge computing, Split federated learning, Multi-tenant system, Incentive mechanism
💡 一句话要点
提出PRINCE机制，激励多租户分割联邦学习在边缘侧高效微调基础模型。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 分割联邦学习 多租户 边缘计算 基础模型微调 激励机制
📋 核心要点
- 现有研究缺乏针对多租户SFL场景的激励机制，难以协调设备参与不同任务，满足各租户差异化的模型微调需求。
- 提出PRINCE价格激励机制，通过租户提供价格激励，吸引高质量设备参与，并采用抗偏差聚合方案和收敛界限分析。
- 实验结果表明，PRINCE在文本、图像和音频等多种数据模态下，加速FM微调高达3.07倍，并满足性能目标。
📝 摘要（中文）
本文提出了一种针对多租户分割联邦学习（SFL）的价格激励机制（PRINCE），旨在解决边缘网络中多个SFL租户在微调基础模型（FM）时，如何有效协调自私的本地设备参与，并满足每个租户不同的FM微调需求（如FM类型、性能目标和微调截止时间）的问题。PRINCE通过引导多个SFL租户提供策略性价格激励，吸引高质量的设备参与高效的FM微调。具体而言，首先开发了一种抗偏差的全局SFL模型聚合方案，消除独立设备参与造成的模型偏差。然后，推导了严格的SFL收敛界限，评估异构设备对FM性能提升的贡献，指导SFL租户的激励策略。此外，将租户间的设备竞争建模为拥塞博弈，进行Stackelberg均衡（SE）分析，推导出每个SFL租户的最优激励策略。实验结果表明，PRINCE相比现有方法，在满足微调性能目标的同时，加速FM微调高达3.07倍。
🔬 方法详解
问题定义：论文旨在解决多租户边缘计算环境中，如何激励本地设备参与分割联邦学习（SFL）以微调基础模型（FM）的问题。现有方法主要关注单租户场景，缺乏有效的激励机制来协调多个租户之间的设备竞争，难以保证每个租户都能获得足够的资源来满足其特定的FM微调需求，例如不同的模型类型、性能目标和截止时间。
核心思路：论文的核心思路是设计一种价格激励机制，让每个SFL租户根据自身的需求和预算，提供不同的价格激励来吸引本地设备参与微调。通过分析设备对模型性能的贡献，以及租户之间的竞争关系，为每个租户找到最优的激励策略，从而实现高效的资源分配和FM微调。
技术框架：整体框架包含以下几个主要模块：1) 抗偏差的全局SFL模型聚合：用于消除由于设备独立参与造成的模型偏差。2) SFL收敛界限推导：用于评估异构设备对FM性能提升的贡献。3) 拥塞博弈建模：将租户间的设备竞争建模为拥塞博弈，进行Stackelberg均衡（SE）分析。4) 最优激励策略求解：推导出每个SFL租户的最优激励策略。
关键创新：论文的关键创新在于：1) 提出了针对多租户SFL场景的价格激励机制PRINCE。2) 设计了抗偏差的全局SFL模型聚合方案，提高了模型训练的稳定性。3) 推导了严格的SFL收敛界限，为激励策略的设计提供了理论依据。4) 将租户间的设备竞争建模为拥塞博弈，更准确地反映了实际场景。
关键设计：PRINCE机制的关键设计包括：1) 价格激励函数：租户根据设备的数据质量、计算能力等因素，提供不同的价格激励。2) 设备选择策略：设备根据租户提供的价格激励和自身的资源状况，选择参与哪个租户的微调任务。3) Stackelberg均衡求解：通过求解Stackelberg均衡，找到每个租户的最优激励策略，使得整个系统的效率最大化。具体的参数设置、损失函数和网络结构等细节取决于具体的FM类型和下游任务。
📊 实验亮点
实验结果表明，PRINCE机制在多种数据模态（文本、图像、音频）和多种FM类型（ViT, BERT, Whisper, LLaMA）下均表现出色。相比于现有方法，PRINCE能够加速FM微调高达3.07倍，同时始终满足微调性能目标。这表明PRINCE能够有效地协调多租户之间的设备竞争，实现高效的资源分配和FM微调。
🎯 应用场景
该研究成果可应用于各种边缘计算场景，例如智能交通、智慧医疗、工业物联网等。通过激励设备参与FM微调，可以提升边缘设备的智能化水平，实现更高效、更个性化的服务。未来，该方法有望推广到更复杂的联邦学习场景，例如跨设备联邦学习、异构联邦学习等。
📄 摘要（原文）
Foundation models (FMs) such as GPT-4 exhibit exceptional generative capabilities across diverse downstream tasks through fine-tuning. Split Federated Learning (SFL) facilitates privacy-preserving FM fine-tuning on resource-constrained local devices by offloading partial FM computations to edge servers, enabling device-edge synergistic fine-tuning. Practical edge networks often host multiple SFL tenants to support diversified downstream tasks. However, existing research primarily focuses on single-tenant SFL scenarios, and lacks tailored incentive mechanisms for multi-tenant settings, which are essential to effectively coordinate self-interested local devices for participation in various downstream tasks, ensuring that each SFL tenant's distinct FM fine-tuning requirements (e.g., FM types, performance targets, and fine-tuning deadlines) are met. To address this gap, we propose a novel Price-Incentive Mechanism (PRINCE) that guides multiple SFL tenants to offer strategic price incentives, which solicit high-quality device participation for efficient FM fine-tuning. Specifically, we first develop a bias-resilient global SFL model aggregation scheme to eliminate model biases caused by independent device participation. We then derive a rigorous SFL convergence bound to evaluate the contributions of heterogeneous devices to FM performance improvements, guiding the incentive strategies of SFL tenants. Furthermore, we model inter-tenant device competition as a congestion game for Stackelberg equilibrium (SE) analysis, deriving each SFL tenant's optimal incentive strategy. Extensive simulations involving four representative SFL tenant types (ViT, BERT, Whisper, and LLaMA) across diverse data modalities (text, images, and audio) demonstrate that PRINCE accelerates FM fine-tuning by up to 3.07x compared to state-of-the-art approaches, while consistently meeting fine-tuning performance targets.