Teaching Language Models to Evolve with Users: Dynamic Profile Modeling for Personalized Alignment
作者: Weixiang Zhao, Xingyu Sui, Yulin Hu, Jiahe Guo, Haixiao Liu, Biye Li, Yanyan Zhao, Bing Qin, Ting Liu
分类: cs.CL
发布日期: 2025-05-21 (更新: 2025-12-11)
备注: NeurIPS 2025 Camera-ready
💡 一句话要点
提出RLPA框架，通过动态用户画像建模实现个性化对齐，提升LLM对话效果。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 个性化对话 用户画像建模 强化学习 大型语言模型 动态建模
📋 核心要点
- 现有prompt方法和离线优化在冷启动和长期个性化方面存在不足，无法有效捕捉用户动态偏好。
- RLPA框架通过LLM与模拟用户交互，利用双层奖励机制迭代推断和优化用户画像，实现个性化对齐。
- Qwen-RLPA在个性化对话中表现SOTA，超越prompting、离线微调以及Claude-3.5和GPT-4o等商业模型。
📝 摘要（中文）
本文提出了一种名为个性化对齐强化学习（RLPA）的框架，旨在解决大型语言模型（LLM）在以用户为中心的对话中进行有效交互的问题。现有基于提示和离线优化的方法存在冷启动和长期个性化方面的不足，因为它们本质上是静态和浅层的。RLPA框架通过LLM与模拟用户模型交互，迭代地推断和完善用户画像。训练过程由双层奖励结构引导：画像奖励鼓励准确构建用户表示，而回复奖励则激励生成与推断画像一致的回复。通过对Qwen-2.5-3B-Instruct进行微调，实例化了RLPA，得到了Qwen-RLPA，并在个性化对话中实现了最先进的性能。实验评估表明，Qwen-RLPA始终优于提示和离线微调基线，甚至超越了Claude-3.5和GPT-4o等先进商业模型。进一步的分析突出了Qwen-RLPA在协调冲突用户偏好、维持长期个性化以及提供比最近以推理为中心的LLM更高效的推理方面的鲁棒性。这些结果强调了动态画像推断作为构建个性化对话系统更有效范例的潜力。
🔬 方法详解
问题定义：现有的大型语言模型在个性化对话中面临挑战，主要体现在无法有效处理冷启动场景和进行长期个性化。传统的prompt方法和离线微调方法依赖于静态的用户信息，难以捕捉用户偏好的动态变化，导致对话效果不佳。这些方法无法根据对话历史动态调整用户画像，从而限制了LLM在个性化对话中的应用。
核心思路：本文的核心思路是通过动态用户画像建模来实现个性化对齐。具体而言，通过让LLM与模拟用户进行交互，利用强化学习方法迭代地推断和完善用户画像。这种动态建模方式能够更好地捕捉用户偏好的变化，从而生成更符合用户需求的回复。通过双层奖励机制，鼓励LLM准确构建用户画像，并生成与画像一致的回复。
技术框架：RLPA框架包含以下主要模块：1) LLM对话代理：负责生成回复并与模拟用户交互。2) 模拟用户模型：模拟真实用户的行为和偏好，与LLM进行对话。3) 用户画像模块：用于存储和更新用户画像信息。4) 奖励函数模块：计算Profile Reward和Response Reward，指导LLM的训练。整个流程如下：LLM根据当前用户画像生成回复，模拟用户根据回复给出反馈，奖励函数模块根据反馈计算奖励，LLM根据奖励更新用户画像和策略。
关键创新：RLPA框架的关键创新在于动态用户画像建模和双层奖励机制。动态用户画像建模能够捕捉用户偏好的变化，从而实现长期个性化。双层奖励机制能够同时优化用户画像的准确性和回复的质量，从而提高对话效果。与现有方法相比，RLPA框架能够更好地处理冷启动场景，并能够根据对话历史动态调整用户画像。
关键设计：Profile Reward旨在鼓励LLM准确构建用户画像，通常基于LLM推断的用户画像与模拟用户真实画像之间的相似度进行计算。Response Reward旨在激励LLM生成与推断的用户画像一致的回复，可以基于回复与用户画像的相关性进行计算。Qwen-RLPA使用Qwen-2.5-3B-Instruct作为基础模型，并采用强化学习算法进行微调。具体的参数设置和网络结构细节未在摘要中详细说明，属于未知信息。
🖼️ 关键图片
📊 实验亮点
Qwen-RLPA在个性化对话中取得了SOTA性能，显著优于prompting和离线微调等基线方法，甚至超越了Claude-3.5和GPT-4o等先进商业模型。实验结果表明，Qwen-RLPA在协调冲突用户偏好、维持长期个性化以及提供更高效的推理方面表现出强大的鲁棒性。具体性能提升数据未在摘要中给出，属于未知信息。
🎯 应用场景
该研究成果可应用于各种需要个性化对话的场景，例如智能客服、虚拟助手、教育辅导等。通过动态用户画像建模，LLM能够更好地理解用户需求，提供更贴合用户偏好的服务。该技术还有潜力应用于社交媒体、电商推荐等领域，提升用户体验和商业价值。
📄 摘要（原文）
Personalized alignment is essential for enabling large language models (LLMs) to engage effectively in user-centric dialogue. While recent prompt-based and offline optimization methods offer preliminary solutions, they fall short in cold-start scenarios and long-term personalization due to their inherently static and shallow designs. In this work, we introduce the Reinforcement Learning for Personalized Alignment (RLPA) framework, in which an LLM interacts with a simulated user model to iteratively infer and refine user profiles through dialogue. The training process is guided by a dual-level reward structure: the Profile Reward encourages accurate construction of user representations, while the Response Reward incentivizes generation of responses consistent with the inferred profile. We instantiate RLPA by fine-tuning Qwen-2.5-3B-Instruct, resulting in Qwen-RLPA, which achieves state-of-the-art performance in personalized dialogue. Empirical evaluations demonstrate that Qwen-RLPA consistently outperforms prompting and offline fine-tuning baselines, and even surpasses advanced commercial models such as Claude-3.5 and GPT-4o. Further analysis highlights Qwen-RLPA's robustness in reconciling conflicting user preferences, sustaining long-term personalization and delivering more efficient inference compared to recent reasoning-focused LLMs. These results emphasize the potential of dynamic profile inference as a more effective paradigm for building personalized dialogue systems.