Rethinking Personalized Generation: Test-Time Alignment via Factorized Ranking Models
作者: Qiyao Ma, Junshan Zhang, Zhe Zhao
分类: cs.LG, cs.CL
发布日期: 2026-09-28
备注: Accepted to NeurIPS 2026
💡 一句话要点
提出基于分解排名模型的测试时对齐方法以解决个性化生成问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化生成 测试时对齐 多层感知机 排名模型 用户偏好
📋 核心要点
- 现有的个性化生成方法主要依赖于单一用户的对齐，导致未能充分挖掘个性化生成的潜力。
- 本文提出了一种基于百万参数的多层感知机排名模型，通过重用生成器的内部嵌入，实现高效的候选评分。
- 在九个数据集的实验中，所提模型在每个数据集上均超越了亿参数的通用奖励模型，显示出显著的性能提升。
📝 摘要（中文）
对大型语言模型（LLMs）进行个性化对齐面临着传统对齐范式的挑战，这些范式通常针对单一用户进行优化。本文通过实证研究揭示了个性化生成在测试时对齐方面的巨大潜力。我们提出了一种参数高效的框架，利用百万参数的多层感知机（MLP）排名模型，直接重用基础生成器的内部嵌入，以准确评分大规模候选池。通过在训练时扩展数据以提供细粒度的个性化偏好，该模型在九个数据集上的实验结果显示，超越了亿参数的通用奖励模型，且参数量仅为其0.4%，评分延迟降低了四个数量级。
🔬 方法详解
问题定义：本文旨在解决个性化生成中传统对齐方法的不足，尤其是其对单一用户的优化限制了性能的提升。现有的奖励模型虽然理论上可以利用这一潜力，但由于其参数规模庞大，导致评分大规模候选池的成本过高。
核心思路：我们提出了一种参数高效的框架，利用百万参数的多层感知机（MLP）排名模型，能够在测试时对候选进行高效评分，避免了生成能力的瓶颈。
技术框架：该框架包括数据扩展、模型训练和候选评分三个主要模块。首先，通过扩展训练数据来捕捉细粒度的个性化偏好；然后，训练MLP模型以实现高效的候选评分；最后，利用评分结果指导生成过程。
关键创新：最重要的创新在于提出了一个低参数量的排名模型，能够有效利用基础生成器的内部嵌入，显著降低了计算成本，并提高了个性化生成的效率。
关键设计：模型设计中，采用了多层感知机结构，损失函数经过精心设计以优化个性化评分，确保模型在保持低参数量的同时，能够准确反映用户偏好。实验中，模型的参数量仅为亿参数奖励模型的0.4%，且评分延迟显著降低。
🖼️ 关键图片
📊 实验亮点
在九个数据集的实验中，所提的个性化排名模型在每个数据集上均超越了亿参数的通用奖励模型，且其参数量仅为后者的0.4%。此外，模型的评分延迟降低了四个数量级，显示出显著的性能优势。
🎯 应用场景
该研究的潜在应用领域包括个性化推荐系统、智能客服、个性化内容生成等。通过提高个性化生成的效率和准确性，能够为用户提供更符合其偏好的内容，从而提升用户体验。未来，该方法可能在更多需要个性化服务的场景中得到广泛应用，推动相关领域的发展。
📄 摘要（原文）
Aligning large language models (LLMs) to diverse user preferences is fundamentally hindered by standard alignment paradigms that optimize for monolithic users. In this work, empirical studies are first used to reveal the existence of a massive, untapped performance headroom for personalized generation through test-time alignment. We demonstrate that personalized generation is uniquely suited for test-time scaling methods like Best-of-N (BoN) because it can be viewed primarily as a candidate matching problem rather than a generator capability bottleneck. While reward models could in principle exploit this headroom, they are poorly calibrated for personalization, and their billion-parameter scale makes scoring large candidate pools prohibitively expensive. To overcome this limitation, we propose a parameter-efficient framework utilizing million-parameter scale multi-layer perceptron (MLP) ranking models. Our personalized ranking model directly reuses the internal embeddings of the base generator with minimal overhead. By scaling train-time data to provide fine-grained personalized preferences, this million-parameter ranking model accurately scores large candidate pools and can seamlessly guide generation to reduce the cost of materializing N candidates. Extensive experiments on nine datasets spanning three personalized generation settings show that our personalized ranking model effectively exploits the discovered headroom, outperforming billion-parameter generalist reward models on every dataset, with under 0.4% of their parameters and four orders of magnitude lower scoring latency.