FAVoR: Measuring and Mitigating Author-Style Homogenization in Federated Personalized Generation

📄 arXiv: 2609.30968v1 📥 PDF

作者: Lu Han, Jingyao Zhang, Katy Ilonka Gero, Nguyen H. Tran

分类: cs.CL

发布日期: 2026-09-25

💡 一句话要点

提出FAVoR以解决联邦个性化生成中的作者风格同质化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 联邦学习 个性化生成 风格保留 参数高效微调 文本生成 机器学习

📋 核心要点

  1. 现有的联邦学习方法在多作者适应中可能导致作者风格的同质化，影响个体写作风格的保留。
  2. 论文提出FAVoR，通过共享-私有适配器设计，允许客户端保留作者特定的残差修正，从而改善风格保留。
  3. 实验结果显示，FAVoR在BlogText和外部验证集上均优于标准的联邦PEFT基线，提升了作者风格的保留效果。

📝 摘要（中文）

随着大型语言模型作为个性化写作助手的广泛应用，跨多个作者的模型适应可能会损害个体写作风格，导致作者特征信号趋向共享模式。联邦参数高效微调（PEFT）提供了一种数据本地化的多作者适应方案，但标准聚合方法在保留语义效用的同时，使不同作者的生成在风格空间中变得不易区分，形成了我们定义的作者风格同质化问题。为了解决这一问题，本文提出了FAVoR（联邦作者声音保留），一种针对联邦PEFT的作者风格残差机制，通过共享-私有适配器设计，改善了作者风格的保留效果。实验结果表明，FAVoR在多个基准测试中优于标准和个性化的联邦PEFT基线。

🔬 方法详解

问题定义：本文旨在解决在联邦个性化生成中，作者风格同质化的问题。现有的联邦PEFT方法在聚合过程中，可能导致不同作者的生成风格趋于一致，损害个体风格的多样性。

核心思路：FAVoR的核心思路是通过共享-私有适配器设计，允许客户端上传共享适配器更新的同时，保留作者特定的残差修正。这种设计旨在在保留语义效用的基础上，增强作者风格的个性化保留。

技术框架：FAVoR的整体架构包括两个主要模块：共享适配器和私有残差修正。客户端在本地进行作者特定的调整，并将更新上传至服务器，服务器进行聚合后再分发给所有客户端。

关键创新：FAVoR的主要创新在于引入了作者风格残差机制，允许在联邦学习中有效保留个体风格。这与传统的聚合方法形成鲜明对比，后者往往导致风格的同质化。

关键设计：在FAVoR中，关键设计包括适配器的结构和损失函数的设置。适配器设计为共享-私有结构，损失函数则考虑了风格保留与语义效用之间的平衡。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，FAVoR在BlogText和外部验证集上相较于标准和个性化的联邦PEFT基线，显著提高了作者风格的保留效果，具体提升幅度达到了X%（具体数据需根据实验结果填写），同时保持了良好的语义生成效果。

🎯 应用场景

该研究的潜在应用领域包括个性化写作助手、社交媒体内容生成以及任何需要保留个体风格的文本生成任务。通过有效保留作者风格，FAVoR能够提升用户体验，促进个性化内容的生成，未来可能在教育、创意写作等领域产生深远影响。

📄 摘要（原文）

Large language models are increasingly used as personalized writing assistants, but adapting a model across many authors can compromise individual writing style by pulling author-specific signals toward a shared register. Federated parameter-efficient fine-tuning (PEFT) offers a data-local setting for this multi-author adaptation problem: clients keep author text local while sharing compact adapter updates. However, we show that standard aggregation can preserve continuation utility while making different authors' generations less distinguishable in style space, a failure mode we define as author-style homogenization. We evaluate author-style retention with Angular Style Classification Encoder (ASCE)-based diagnostics on our main BlogText benchmark and ASCE-independent external authorship verification. Using this protocol, we find that common federated PEFT baselines can preserve semantic utility while averaging out author-specific signals. To address this homogenization, we instantiate FAVoR (Federated Authorial Voice Retention), an author-style residual mechanism for federated PEFT. FAVoR uses a shared-private adapter design: clients upload shared-adapter updates while retaining author-specific residual corrections locally. Across BlogText and external Mythos-Reddit validation, FAVoR improves author-style retention over standard and personalized federated PEFT baselines. These gains come with small continuation-utility trade-offs and are supported by component ablations, external verification, and cold-start transfer.