Many Preferences, Few Policies: Towards Scalable Language Model Personalization

📄 arXiv: 2604.04144 📥 PDF

作者: Cheol Woo Kum, Jai Moondra, Roozbeh Nahavandi, Andrew Perrault, Milind Tambe, Swati Gupta

分类: cs.CL, cs.AI

发布日期: 2026-04-07

💡 一句话要点

提出PALM算法，通过少量LLM组合实现大规模用户偏好个性化

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 语言模型个性化 多目标优化 模型组合 用户偏好建模 大规模部署

📋 核心要点

  1. 为每个用户维护单独的LLM以实现个性化，面临计算资源和系统复杂度的巨大挑战。
  2. PALM算法通过构建少量LLM组合，确保对于任何用户偏好，组合中都存在近优的LLM。
  3. 实验验证了PALM算法的理论保证，并展示了其在输出多样性方面优于现有基线。

📝 摘要（中文）

大型语言模型（LLM）个性化的理想方案是为每个用户维护一个完全符合其偏好的独立LLM。然而，由于计算、内存和系统复杂性的限制，这种方案在实践中是不可行的。本文通过开发一种原则性的方法来解决这一挑战，该方法旨在选择一个小型LLM组合，以捕捉异构用户的代表性行为。我们通过多维权重向量对用户在多个特征（例如，安全性、幽默性、简洁性）上的偏好进行建模。给定这些维度上的奖励函数，我们的算法PALM（Portfolio of Aligned LLMs）生成一个小型LLM组合，使得对于任何权重向量，该组合都包含一个针对相应标量化目标的近优LLM。据我们所知，这是第一个在个性化LLM组合的大小和近似质量上提供理论保证的结果。它描述了系统成本和个性化之间的权衡，以及覆盖用户偏好领域所需LLM的多样性。我们提供的实验结果验证了这些保证，并证明了相对于常见基线，输出具有更大的多样性。

🔬 方法详解

问题定义：现有的大型语言模型个性化方法通常需要为每个用户训练或微调一个独立的LLM，这在计算资源、存储空间和系统维护方面带来了巨大的负担。尤其是在用户数量庞大的情况下，这种方法变得不可行。因此，如何以较低的成本实现大规模的LLM个性化是一个亟待解决的问题。现有方法难以在系统成本和个性化程度之间取得平衡。

核心思路：PALM算法的核心思想是构建一个小型但具有代表性的LLM组合（Portfolio）。这个组合中的每个LLM都针对不同的用户偏好进行了优化。对于给定的用户偏好，PALM算法能够从这个组合中选择一个或多个最适合该用户偏好的LLM，从而实现个性化服务。通过这种方式，PALM算法避免了为每个用户单独训练LLM的需求，大大降低了系统成本。

技术框架：PALM算法的整体框架包括以下几个主要步骤：1) 用户偏好建模：使用多维权重向量来表示用户在不同特征（如安全性、幽默性、简洁性等）上的偏好。2) 奖励函数定义：为每个特征定义一个奖励函数，用于评估LLM在这些特征上的表现。3) LLM组合生成：使用PALM算法生成一个小型LLM组合，该组合中的每个LLM都针对不同的权重向量进行了优化。4) LLM选择：对于给定的用户偏好（权重向量），从LLM组合中选择一个或多个最适合该用户偏好的LLM。

关键创新：PALM算法的关键创新在于它提供了一种原则性的方法来构建LLM组合，并为组合的大小和近似质量提供了理论保证。具体来说，PALM算法能够保证对于任何用户偏好，该组合都包含一个针对相应标量化目标的近优LLM。这是第一个在个性化LLM组合的大小和近似质量上提供理论保证的结果。

关键设计：PALM算法的关键设计包括：1) 多维权重向量：使用多维权重向量来表示用户偏好，能够更细粒度地捕捉用户的个性化需求。2) 奖励函数：奖励函数的设计直接影响LLM的优化方向，因此需要仔细设计，以确保LLM能够满足用户的偏好。3) 组合生成算法：PALM算法使用一种贪心算法来生成LLM组合，该算法能够有效地平衡组合的大小和近似质量。4) LLM选择策略：选择策略决定了如何从LLM组合中选择最适合用户偏好的LLM。论文中可能使用了基于相似度的选择策略，即选择与用户偏好向量最相似的LLM。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PALM算法能够在保证个性化质量的前提下，显著降低系统成本。与常见的基线方法相比，PALM算法生成的LLM组合在输出多样性方面表现更佳，能够更好地满足不同用户的偏好。论文提供了理论保证，并用实验验证了这些保证，证明了PALM算法的有效性。

🎯 应用场景

PALM算法可应用于各种需要大规模个性化语言模型服务的场景，例如：智能客服、个性化推荐、教育辅导等。通过构建一个小型但具有代表性的LLM组合，PALM算法能够以较低的成本为大量用户提供个性化的语言模型服务，从而提高用户满意度和系统效率。该研究为未来大规模LLM个性化部署提供了新的思路。

📄 摘要（原文）

The holy grail of LLM personalization is a single LLM for each user, perfectly aligned with that user's preferences. However, maintaining a separate LLM per user is impractical due to constraints on compute, memory, and system complexity. We address this challenge by developing a principled method for selecting a small portfolio of LLMs that captures representative behaviors across heterogeneous users. We model user preferences across multiple traits (e.g., safety, humor, brevity) through a multi-dimensional weight vector. Given reward functions across these dimensions, our algorithm PALM (Portfolio of Aligned LLMs) generates a small portfolio of LLMs such that, for any weight vector, the portfolio contains a near-optimal LLM for the corresponding scalarized objective. To the best of our knowledge, this is the first result that provides theoretical guarantees on both the size and approximation quality of LLM portfolios for personalization. It characterizes the trade-off between system cost and personalization, as well as the diversity of LLMs required to cover the landscape of user preferences. We provide empirical results that validate these guarantees and demonstrate greater output diversity over common baselines.