Rubric-Aware On-Policy Self-Distillation for LLM Personalization

📄 arXiv: 2609.35262v1 📥 PDF

作者: Yilun Qiu, Xiaoyan Zhao, Chengbing Wang, Cilin Yan, Rui Zu, Wanyang Zhang, Xiaolong Jiang, Jiayin Cai, Yang Zhang

分类: cs.CL

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出GRASP框架以实现大语言模型个性化响应

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 大语言模型 个性化响应 自蒸馏 评分标准 深度学习 机器学习 自然语言处理

📋 核心要点

  1. 现有方法在利用用户特定评分标准时，往往只能提供粗粒度的指导，无法有效指导模型生成个性化响应。
  2. 本文提出GRASP框架，通过将评分标准转化为细粒度的标记级监督，提升模型生成个性化答案的能力。
  3. 在LaMP-QA基准上，GRASP在多个基础模型上实现了最先进的性能，验证了其有效性和优越性。

📝 摘要（中文）

大语言模型（LLM）个性化旨在生成符合用户偏好和需求的响应。用户特定的评分标准使这些期望变得明确，为满意的答案提供直接的监督。然而，现有的评分指导方法仅在粗粒度上利用这种指导，未能有效地将个性化答案的具体内容与模型生成过程相结合。为此，本文提出了GRASP框架，这是一种基于评分标准的在线自蒸馏方法，通过将用户特定的评分标准转化为细粒度的标记级监督，来提升个性化效果。实验结果表明，GRASP在LaMP-QA基准上实现了多种基础模型的最先进性能，验证了评分指导的标记级监督在个性化中的有效性。

🔬 方法详解

问题定义：本文旨在解决现有个性化大语言模型方法在利用用户特定评分标准时的粗粒度指导问题，导致模型生成的个性化响应不够准确和有效。

核心思路：GRASP框架通过将用户特定的评分标准转化为细粒度的标记级监督，利用无评分标准的学生模型与有评分标准的教师模型进行对齐，从而提升生成质量。

技术框架：GRASP框架包括两个主要模块：无评分标准的学生模型和有评分标准的教师模型。教师模型在生成过程中接收用户特定的评分标准，并通过对齐其下一个标记分布来指导学生模型。

关键创新：最重要的创新在于引入了基于评分标准的教师验证（RTV），只保留教师模型充分覆盖目标评分标准的实例，从而提高监督质量和训练效率。

关键设计：在模型训练中，采用了特定的损失函数来优化教师与学生模型之间的对齐，同时设计了有效的参数设置，以确保教师模型能够提供高质量的监督。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在LaMP-QA基准上，GRASP框架在多个基础模型上实现了最先进的性能，相较于传统方法，性能提升幅度达到XX%（具体数据待补充），验证了评分指导的标记级监督在个性化任务中的有效性。

🎯 应用场景

该研究的潜在应用领域包括个性化问答系统、智能客服和个性化推荐等。通过提升大语言模型的个性化能力，能够更好地满足用户的特定需求，增强用户体验，未来可能对人机交互和智能服务领域产生深远影响。

📄 摘要（原文）

LLM personalization aims to generate responses aligned with individual users' preferences and needs. User-specific rubrics make these expectations explicit, providing direct supervision on what a satisfactory answer should cover. Existing rubric-guided approaches, however, exploit such guidance only at a coarse granularity, either by using rubrics to supervise the prediction of relevant aspects for subsequent generation or by reducing aspect coverage to a single response-level reward for reinforcement learning. This leaves a gap between specifying what a personalized answer should contain and teaching the model how to generate it. To bridge this gap, we propose GRASP, a rubric-aware on-policy self-distillation framework for LLM personalization that turns user-specific rubric aspects into fine-grained, token-level supervision. Specifically, GRASP pairs a rubric-free student with a rubric-informed teacher that additionally receives the target user-specific rubrics. By aligning their next-token distributions along on-policy trajectories generated by the student, GRASP transfers the teacher's rubric-conditioned guidance into the student, translating user-specific semantic requirements into dense token-level supervision. Since rubric-informed teachers can still produce inadequate supervision, we further introduce Rubric-based Teacher Validation (RTV), which retains only instances where the teacher sufficiently covers the target aspects, improving both supervision quality and training efficiency. Experiments on the LaMP-QA benchmark for personalized question answering demonstrate that GRASP achieves state-of-the-art performance across multiple backbones, supporting the effectiveness of rubric-guided token-level supervision for personalization. To ensure reproducibility, our code is available at https://github.com/SnowCharmQ/GRASP.