Personalized Federated Direct Preference Optimization via LoRA Adapters

📄 arXiv: 2610.12885v1 📥 PDF

作者: Zhanhong Jiang, Soumik Sarkar

分类: cs.LG

发布日期: 2026-10-09

备注: 15 pages, 11 figures, AAAI Fall Symposium Series 2026

💡 一句话要点

提出个性化联邦直接偏好优化方法以解决异构偏好问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 个性化推荐 联邦学习 偏好优化 隐私保护 机器学习

📋 核心要点

  1. 现有的FedDPO方法假设所有客户端共享同一策略，无法有效处理实际中的异构偏好分布问题。
  2. 本文提出个性化FedDPO（pFedDPO），通过在共享基础模型上添加私有LoRA适配器，使每个客户端能够捕捉特定的偏好模式。
  3. 实验结果显示，pFedDPO在训练损失和奖励准确性上与传统FedDPO相当，但梯度范数显著降低，提升了训练效率。

📝 摘要（中文）

联邦直接偏好优化（FedDPO）能够在不集中敏感偏好数据的情况下，实现分布式代理之间的隐私保护对齐。然而，现有的FedDPO分析假设所有客户端收敛到单一共享策略，这与实际中存在的异构偏好分布相悖。本文提出个性化FedDPO（pFedDPO），每个客户端在共享的全局基础模型上维护一个小型私有的LoRA适配器。在pFedDPO中，基础模型通过FedAvg每轮同步，而LoRA适配器保持本地，捕捉客户端特定的偏好模式。我们证明这种分解将FedDPO界限中的梯度多样性$κ^2$替换为残余异质性$κ^2_{ ext{eff}}$，当适配器吸收客户端特定方向时，$κ^2_{ ext{eff}}$不大于$κ^2$，代价是一个随着适配器收敛而消失的附加适配器偏差项。对偏好数据集的实验表明，pFedDPO在训练损失和每客户端奖励准确性上保持竞争力，同时梯度范数始终低于传统FedDPO。

🔬 方法详解

问题定义：本文旨在解决现有FedDPO方法在处理异构偏好分布时的不足，尤其是所有客户端收敛到单一共享策略的假设不符合实际情况。

核心思路：提出个性化FedDPO（pFedDPO），允许每个客户端在共享的全局基础模型上维护一个小型私有的LoRA适配器，以捕捉客户端特定的偏好模式，从而实现个性化的模型更新。

技术框架：pFedDPO的整体架构包括一个共享的基础模型和多个本地的LoRA适配器。每轮训练中，基础模型通过FedAvg算法进行同步，而LoRA适配器则保持本地，独立更新。

关键创新：pFedDPO的主要创新在于将梯度多样性$κ^2$替换为残余异质性$κ^2_{ ext{eff}}$，并引入适配器偏差项，使得适配器能够吸收客户端特定的偏好方向，显著提升了模型的个性化能力。

关键设计：在设计中，LoRA适配器的大小和结构经过精心选择，以确保其能够有效捕捉客户端特定的偏好模式，同时保持计算效率。损失函数的设计也考虑了适配器偏差的影响，确保模型在收敛过程中能够逐步消除该偏差。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，pFedDPO在多个偏好数据集上表现优异，训练过程中梯度范数显著低于传统FedDPO，且在训练损失和每客户端奖励准确性方面保持竞争力，展示了其在个性化学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、智能助手和用户偏好建模等。通过实现个性化的模型更新，pFedDPO能够在保护用户隐私的同时，提供更符合用户需求的服务，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Federated Direct Preference Optimization (FedDPO) enables privacy-preserving alignment of language models across distributed agents without centralizing sensitive preference data. However, existing FedDPO analysis assumes all clients converge to a single shared policy, which is fundamentally at odds with the heterogeneous preference distributions present in practice. We propose Personalized FedDPO (pFedDPO), in which each client maintains a small private LoRA adapter atop a shared global base model. In pFedDPO, the base model is synchronized via FedAvg each round, while LoRA adapters remain local and capture client-specific preference patterns. We prove that this decomposition replaces the gradient diversity $κ^2$ in the FedDPO bound with a residual heterogeneity $κ^2_{\mathrm{eff}}$, which is no larger than $κ^2$ when adapters absorb client-specific directions, at the cost of an additive adapter-bias term that vanishes as adapters converge. Experiments on preference datasets show that pFedDPO consistently attains a lower gradient norm than vanilla FedDPO while remaining competitive in training loss and per-client reward accuracy.