PFedQFT: Personalized Federated Quantum-Inspired Fine-Tuning for Medical Large Language Models

📄 arXiv: 2610.25712v1 📥 PDF

作者: Qihan Huang, Lingxia Zhang, Guye Zhang, Zizhu Wang, Xiaowei Mao

分类: cs.AI

发布日期: 2026-10-19

备注: 10 pages, 5 figures

💡 一句话要点

提出PFedQFT以解决医疗数据隐私与适应性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 量子启发 个性化微调 医疗数据 大语言模型 隐私保护 适配器设计

📋 核心要点

  1. 现有的医疗数据处理方法面临隐私和适应性挑战，导致数据分散且难以有效利用。
  2. PFedQFT通过量子启发的框架，构建紧凑的共享适配器，实现个性化的联邦微调，降低参数和通信成本。
  3. 在七个医疗任务上进行的实验显示，PFedQFT显著减少了可训练参数和上传量，同时保持了竞争力的预测性能。

📝 摘要（中文）

医疗数据因隐私、治理和所有权限制而分散在不同机构之间。联邦学习使医疗机构能够在不传输原始记录的情况下协作调整大型语言模型（LLMs）。然而，独立参数化的低秩适配器在Transformer投影中会产生重复的参数和通信成本，而统一聚合可能限制对异构机构数据的适应性。我们提出PFedQFT，这是一种量子启发的个性化联邦微调框架，使用紧凑的共享适配器。PFedQFT通过截断矩阵指数近似和QR正交化构建可重用的正交适应基，兼容的投影重用这些基，同时全球共享的完整核心保持每个投影的灵活性。每个客户端还维护一个轻量级的私有残差算子，其方向在全球学习，而系数保持本地。实验结果表明，在七个公共医疗任务和多个LLM基础上，训练参数和每轮适配器上传量显著减少，同时在大多数任务上预测性能具有竞争力。

🔬 方法详解

问题定义：当前医疗数据因隐私和治理问题分散在不同机构，导致无法有效利用。现有的联邦学习方法在处理异构数据时，存在参数和通信成本高的问题。

核心思路：PFedQFT提出了一种量子启发的个性化联邦微调框架，利用紧凑的共享适配器和可重用的正交适应基，旨在降低参数和通信开销，同时保持模型的灵活性。

技术框架：PFedQFT的整体架构包括三个主要模块：1) 构建紧凑的共享适配器；2) 通过截断矩阵指数近似和QR正交化生成可重用的适应基；3) 每个客户端维护轻量级的私有残差算子。

关键创新：PFedQFT的核心创新在于其量子启发的适应基构建方法和紧凑的共享适配器设计，这与传统的独立适配器方法形成鲜明对比，显著降低了参数和通信成本。

关键设计：在设计中，使用了截断矩阵指数近似和QR正交化技术来生成正交适应基，确保了适应性的同时减少了计算复杂度。每个客户端的私有残差算子方向通过全局学习，而系数则保持本地，进一步增强了隐私保护。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，PFedQFT在七个公共医疗任务上显著减少了可训练参数和每轮适配器上传量，具体减少幅度达到XX%（具体数据待补充），同时在大多数任务上保持了与基线模型相当的预测性能，展示了其优越性。

🎯 应用场景

PFedQFT在医疗领域的潜在应用包括跨机构的医疗数据分析、个性化医疗服务和智能健康管理。通过有效的模型微调，该方法能够帮助医疗机构在保护隐私的同时，提升模型的适应性和性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Medical data remain fragmented across institutional silos because of privacy, governance, and ownership constraints. Federated learning enables medical institutions to adapt large language models (LLMs) collaboratively without transferring raw records. However, independently parameterized low-rank adapters incur repeated parameter and communication costs across Transformer projections, while uniform aggregation may limit adaptation to heterogeneous institutional data. We propose PFedQFT, a quantum-inspired framework for personalized federated fine-tuning with a compact shared adapter. Specifically, PFedQFT constructs reusable orthonormal adaptation bases from compact skew-symmetric generators using a truncated matrix-exponential approximation followed by QR orthonormalization. Compatible projections reuse these bases, while a globally shared full core preserves the flexibility of each projection. Each client further maintains a lightweight private residual operator, whose directions are learned globally and whose coefficients remain local. Experiments on seven public medical tasks and multiple LLM backbones show substantial reductions in trainable parameters and per-round adapter upload volume, with competitive predictive performance on most tasks.