Using Context Is Not Enough: Test-Time Training for Personalized Reward Modeling

📄 arXiv: 2609.35109v1 📥 PDF

作者: Bohao Wang, Xiaoyan Zhao, Yang Zhang, Jinghang Guo, Chun Chen, Can Wang, Jiawei Chen

分类: cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出P-TTT以解决个性化奖励建模中的偏好关系捕捉问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 个性化奖励模型 偏好学习 强化学习 人类反馈 上下文学习 快速权重 测试时训练

📋 核心要点

  1. 现有的个性化奖励模型（PRMs）主要依赖上下文学习（ICL），但未能充分捕捉用户偏好的细微差别。
  2. 论文提出偏好对齐的测试时训练（P-TTT），通过编码用户特定的快速权重来改善个性化奖励预测。
  3. 实验结果显示，P-TTT在捕捉历史偏好关系方面表现优异，显著优于现有方法，提升幅度明显。

📝 摘要（中文）

基于人类反馈的强化学习（RLHF）旨在使大型语言模型（LLMs）与人类偏好对齐，但现有方法通常学习单一的奖励模型，忽视个体偏好的差异。个性化奖励模型（PRMs）通过用户特定反馈来调整奖励，通常采用上下文学习（ICL），但我们发现ICL方法未能有效捕捉上下文对偏好的影响。为此，我们提出了偏好对齐的测试时训练（P-TTT），该方法明确编码用户特定的快速权重以进行个性化奖励预测。P-TTT引入序列级更新和应用操作，以匹配偏好反馈的响应级粒度，并通过直接利用成对偏好关系的目标来指导快速权重的适应。实验表明，P-TTT在捕捉历史偏好关系方面更为有效，并显著超越了现有最先进的方法。

🔬 方法详解

问题定义：本论文旨在解决个性化奖励建模中，现有方法未能有效捕捉用户偏好关系的问题。传统的上下文学习（ICL）方法依赖用户的历史比较，但未能充分利用这些信息。

核心思路：论文提出的P-TTT方法通过引入用户特定的快速权重，明确编码偏好关系，从而提升个性化奖励预测的准确性。该设计旨在更好地反映用户的真实偏好。

技术框架：P-TTT的整体架构包括序列级更新和应用操作，能够在单次前向传播中更新快速权重，避免了推理时的反向传播。主要模块包括偏好对齐目标和快速权重适应机制。

关键创新：P-TTT的核心创新在于其能够直接利用成对偏好关系来指导快速权重的适应，这一方法与传统的单一奖励模型形成了本质区别。

关键设计：在P-TTT中，损失函数设计为偏好对齐目标，快速权重的更新通过序列级操作实现，确保了与用户反馈的响应级粒度相匹配。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，P-TTT在捕捉历史偏好关系方面的表现显著优于现有最先进的方法，具体提升幅度达到XX%（具体数据待补充），验证了其在个性化奖励建模中的有效性。

🎯 应用场景

该研究的潜在应用领域包括个性化推荐系统、智能助手和用户交互界面等。通过更好地理解和捕捉用户偏好，P-TTT能够提升用户体验，增强系统的智能化水平，未来可能在多个行业中产生深远影响。

📄 摘要（原文）

Reinforcement learning from human feedback (RLHF) aligns large language models (LLMs) with human preferences, yet most pipelines learn a single reward model that overlooks individual differences in preferences. Personalized reward models (PRMs) address this by conditioning rewards on user-specific feedback, most commonly through in-context learning (ICL), where a user's historical comparisons are supplied as contextual preference pairs. However, we identify a key limitation of ICL-based PRMs: they fail to capture the preference relations conveyed by contextual pairs. To address this, we propose Preference-Aligned Test-Time Training (P-TTT), which explicitly encodes these relations into user-specific fast weights for personalized reward prediction. P-TTT introduces sequence-level update and apply operations to match the response-level granularity of preference feedback, together with a preference-aligned objective that directly uses pairwise preference relations to guide fast-weight adaptation. Notably, P-TTT is simple to implement and computationally efficient, updating fast weights within a single forward pass without inference-time backpropagation. Extensive experiments show that P-TTT more effectively captures historical preference relations and outperforms state-of-the-art methods by a large margin.