Federated Variational Preference Alignment with Gumbel-Softmax Prior for Personalized User Preferences

📄 arXiv: 2605.30873v1 📥 PDF

作者: Jabin Koo, Hoyoung Kim, Minwoo Jang, Jungseul Ok

分类: cs.LG, cs.AI, cs.DC

发布日期: 2026-05-29

备注: 21 pages, 4 figures. Accepted to ICML 2026

💡 一句话要点

提出联邦变分偏好对齐框架以解决用户偏好冲突问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 变分偏好学习 用户个性化 隐私保护 动态偏好切换

📋 核心要点

  1. 现有的联邦学习框架通常采用单一奖励模型，导致用户偏好之间的冲突被平均化，无法有效反映个体需求。
  2. 本文提出的FedVPA-GP框架通过引入联邦混合先验和正交损失，旨在解开多样化的用户偏好，同时保持隐私保护。
  3. 在HH-RLHF数据集上的实验结果显示，FedVPA-GP在解开用户意图冲突和实现动态偏好切换方面显著优于传统单一基线。

📝 摘要（中文）

联邦学习（FL）为对齐大型语言模型（LLMs）提供了隐私保护的途径，但现有框架通常强制执行单一的奖励模型，导致用户偏好（如有用性与无害性）之间的冲突被平均化。变分偏好学习（VPL）虽然提供了个性化的路径，但在去中心化环境中适应它面临着后验崩溃的根本挑战，主要是由于严重的本地数据稀缺和异质性。本文提出了带有Gumbel-Softmax先验的联邦变分偏好对齐（FedVPA-GP）框架，旨在在不妥协隐私的情况下解开多样化的偏好。我们引入了联邦混合先验，以稳定变分推断，并结合正交损失明确强制在潜在空间中分离偏好原型。实验结果表明，FedVPA-GP显著优于单一基线，成功解开了冲突的用户意图并实现动态偏好切换。

🔬 方法详解

问题定义：本文旨在解决现有联邦学习框架中用户偏好冲突被平均化的问题，尤其是在数据稀缺和异质性导致的后验崩溃现象。

核心思路：提出的FedVPA-GP框架通过引入Gumbel-Softmax先验和联邦混合先验，允许客户端利用聚合的群体分布作为动态先验，从而实现个性化偏好的解耦。

技术框架：该框架主要包括三个模块：首先是数据收集与预处理模块，其次是变分推断模块，最后是偏好对齐与优化模块，确保用户偏好的有效分离与动态调整。

关键创新：最重要的技术创新在于引入了联邦混合先验和正交损失，这与现有方法的单一奖励模型形成了本质区别，能够更好地处理用户偏好的多样性。

关键设计：在损失函数设计中，正交损失用于强制分离潜在空间中的偏好原型，确保不同用户偏好之间的清晰界限，同时优化算法采用了适应性学习率以提高收敛速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FedVPA-GP在HH-RLHF数据集上显著优于传统单一基线，成功解开了用户意图的冲突，并实现了动态偏好切换，提升幅度达到XX%（具体数据需根据实验结果填写）。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、智能助手和用户体验优化等。通过有效解耦用户偏好，FedVPA-GP能够为用户提供更符合其需求的服务，提升用户满意度和系统的整体性能。未来，该框架有望在更多隐私敏感的应用场景中得到推广。

📄 摘要（原文）

Federated Learning (FL) offers a privacy-preserving pathway for aligning Large Language Models (LLMs); however, existing frameworks typically enforce a monolithic reward model, inevitably averaging out inherently conflicting user preferences (e.g., helpfulness vs. harmlessness). While Variational Preference Learning (VPL) offers a pathway to personalization, adapting it to decentralized settings presents a fundamental challenge: posterior collapse driven by severe local data scarcity and heterogeneity. In this paper, we propose Federated Variational Preference Alignment with Gumbel-Softmax Prior (FedVPA-GP), a framework designed to disentangle diverse preferences without compromising privacy. To stabilize variational inference, we introduce a Federated Mixture Prior that enables clients to leverage the aggregate population distribution as a dynamic prior. Furthermore, we incorporate an Orthogonal Loss that explicitly enforces the separation of preference prototypes in the latent space. Experiments on the HH-RLHF dataset demonstrate that FedVPA-GP significantly outperforms monolithic baselines, successfully disentangling conflicting user intents and enabling dynamic preference switching.