PLUME: Parameter-Efficient Personalization of Large Language Models via Low-Rank User Modulation in Shared Subspaces

📄 arXiv: 2609.04715v1 📥 PDF

作者: Xinyu Li, Hao Zhou, Jianfeng Zhu, Julina Maharjan, Ruixin Guo, Feodor Dragan, Ruoming Jin

分类: cs.AI

发布日期: 2026-09-04

💡 一句话要点

提出PLUME以高效个性化大型语言模型

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化模型 低秩适应 共享子空间 用户调制 大型语言模型 高效学习 文本生成

📋 核心要点

  1. 现有的个性化大型语言模型方法在每个用户微调时存在显著的参数和存储开销，限制了其可扩展性。
  2. PLUME通过学习共享的任务特定子空间，仅训练轻量的小方阵，实现高效的用户个性化适应。
  3. 实验结果显示，PLUME在多个基准上与强基线相比，性能相当或更优，同时每用户参数减少超过95%。

📝 摘要（中文）

个性化大型语言模型（LLMs）对于提供符合用户风格、意图和偏好的AI助手至关重要。尽管每个用户的微调可以显著提升个性化质量，但它带来了巨大的参数和存储开销，限制了大规模用户群体的可扩展性。我们提出了PLUME（通过用户调制和共享子空间的个性化低秩适应），这是一个轻量级框架，通过利用共享的任务特定子空间，实现高效且富有表现力的用户适应。具体而言，PLUME首先从聚合用户数据中学习一个全局任务子空间。个性化通过仅在该子空间内训练一个轻量的小方阵来实现，使每个用户能够获得定制模型，同时保持共享组件不变。进一步引入跨层共享参数和秩-1残差项，显著减少冗余，同时保持表现力。在多个个性化文本生成基准上的实验表明，PLUME在减少每用户参数超过95%的同时，达到了与强基线相当或更优的性能。这些结果确立了以最小残差进行共享子空间调制作为LLM个性化的可扩展且语义基础的方法。

🔬 方法详解

问题定义：本论文旨在解决个性化大型语言模型在用户微调时的参数和存储开销问题。现有方法在处理大规模用户时面临可扩展性挑战。

核心思路：PLUME的核心思路是通过学习一个共享的任务特定子空间，仅在此子空间内进行轻量级的用户适应，从而实现高效的个性化。这样的设计使得模型能够在保持共享组件不变的情况下，为每个用户提供定制化的体验。

技术框架：PLUME的整体架构包括三个主要模块：首先，从聚合的用户数据中学习全局任务子空间；其次，在该子空间内训练一个小方阵以实现个性化；最后，引入跨层共享参数和秩-1残差项以减少冗余。

关键创新：PLUME的主要创新在于通过共享子空间调制和最小残差的设计，显著降低了个性化过程中的参数需求，同时保持了模型的表现力。这一方法与传统的每用户微调方法本质上不同，后者通常需要大量的参数调整。

关键设计：在PLUME中，关键的参数设置包括小方阵的维度选择、损失函数的设计，以及跨层共享参数的引入。这些设计确保了模型在个性化时的高效性和有效性。通过这些技术细节，PLUME能够在保证性能的同时，显著减少每个用户的参数量。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

PLUME在多个个性化文本生成基准上表现出色，达到了与强基线相当或更优的性能，同时每用户参数减少超过95%。这一结果表明，PLUME在保持模型表现力的同时，显著提高了个性化的效率和可扩展性。

🎯 应用场景

PLUME的研究成果具有广泛的应用潜力，尤其是在个性化AI助手、智能客服和个性化内容生成等领域。通过高效的个性化适应，PLUME能够为不同用户提供更符合其需求的服务，提升用户体验。未来，随着用户数量的增加，PLUME的可扩展性将使其在大规模应用中展现出更大的价值。

📄 摘要（原文）

Personalizing large language models (LLMs) is essential for delivering AI assistance that aligns with individual users' styles, intents, and preferences. While per-user fine-tuning can substantially enhance personalization quality, it introduces significant parameter and storage overhead, limiting scalability to large user populations. We propose PLUME (Personalized Low-Rank Adaptation through User Modulation and Shared Subspace), a lightweight framework that achieves efficient and expressive per-user adaptation by leveraging a shared task-specific subspace. Specifically, PLUME first learns a global task subspace from aggregated user data. Personalization is then achieved by training only a lightweight small square matrix within this subspace, enabling each user to obtain a tailored model while keeping shared components fixed. Cross-layer shared parameters and rank-1 residual terms are further introduced to significantly reduce redundancy while maintaining expressiveness. Experiments on multiple personalized text generation benchmarks demonstrate that PLUME achieves comparable or superior performance to strong baselines, while reducing per-user parameters by over 95%. These results establish shared-subspace modulation with minimal residuals as a scalable and semantically grounded approach to LLM personalization.