KuaiRP Series Role-playing Models Technical Report

📄 arXiv: 2609.11127v1 📥 PDF

作者: Yipeng Wang, Ziwei Zhang, Jiahui Zhang, Qi Gan, Kai Sheng

分类: cs.AI, cs.CL

发布日期: 2026-09-10

💡 一句话要点

提出KuaiRP系列角色扮演模型以解决知识注入与能力保持的矛盾

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 角色扮演模型 知识注入 自蒸馏 强化学习 多阶段训练 低成本部署 领域适应 模型能力保持

📋 核心要点

  1. 现有角色扮演模型在注入深层领域知识时，常常导致模型一般智能能力的严重遗忘，影响其通用性。
  2. 提出多阶段训练管道，包括标准化角色模板、SFT数据管道和基于规则的复合奖励函数，以解决知识注入与能力保持的矛盾。
  3. 实验结果显示，KuaiRP模型在角色扮演保真度上与最先进模型相当，并成功恢复一般智能能力，保持低部署成本。

📝 摘要（中文）

本文介绍了KuaiRP系列角色扮演模型的完整技术解决方案，旨在实现简化提示工程、高稳定性输出质量、内置领域知识和高效部署等四个核心目标。然而，有效注入深层领域知识往往导致模型一般智能能力的严重遗忘。为克服这一权衡，提出了多阶段训练管道，包括标准化角色模板设计、基于用户行为模拟的SFT数据管道构建、以及在强化学习阶段使用基于规则的复合奖励函数。最后，提出了一种新颖的自蒸馏范式，以平衡领域知识注入与一般能力保持。实验结果表明，KuaiRP模型在目标领域的角色扮演保真度上与当前最先进的专有模型相匹配，同时成功恢复一般智能能力，保持极低的部署成本。

🔬 方法详解

问题定义：本文旨在解决在角色扮演模型中有效注入深层领域知识与保持模型一般智能能力之间的矛盾。现有方法在知识注入时容易导致模型的通用能力下降，影响其在多样化场景中的表现。

核心思路：论文提出了一种多阶段训练管道，通过设计标准化角色模板和构建基于用户行为的SFT数据管道，结合强化学习阶段的复合奖励函数，来平衡领域知识的注入与一般能力的保持。

技术框架：整体架构分为三个主要阶段：首先，设计标准化角色模板并构建SFT数据管道；其次，在强化学习阶段使用规则基础的复合奖励函数；最后，采用自蒸馏范式恢复一般能力。

关键创新：最重要的创新在于提出了两阶段的在线蒸馏（OPD）方法，利用领域适应模型作为教师，原始基础模型作为学生，有效地平衡了领域知识的注入与一般能力的保持。

关键设计：在训练过程中，采用了复合奖励函数来消除常见的退化现象，如生成长度扩展和重复生成，同时在自蒸馏过程中引入了累积发散衰减（CDD）机制，以增强模型的学习效果。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，KuaiRP模型在目标领域的角色扮演保真度上与当前最先进的专有模型相匹配，并成功恢复了模型的一般智能能力，保持了极低的部署成本，展示了显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟助手和教育领域等，能够为角色扮演应用提供更高的智能化水平和用户体验。未来，该技术有望推动更复杂的交互式系统的发展，使其在多种场景中具备更强的适应能力和表现力。

📄 摘要（原文）

This paper introduces the complete technical solution for the KuaiRP series of role-playing models. We aim to achieve four core objectives for a dedicated role-playing model: simplified prompt engineering, highly stable output quality, built-in domain world knowledge, and high-efficiency deployment with a small parameter size. However, effectively injecting deep domain knowledge often leads to a severe catastrophic forgetting of the model's general agent capabilities. To overcome this trade-off, we propose a multi-stage training pipeline. First, we design a standardized character template and construct an SFT data pipeline based on user behavior simulation and reverse profile filtering. Next, we utilize a rule-based composite reward function during the Reinforcement Learning (RL) phase to eliminate common degradation phenomena like length expansion and repetitive generation. Finally, to recover the general capabilities compromised during SFT and RL, we propose a novel self-distillation paradigm using Two-stage On-Policy Distillation (OPD) equipped with Cumulative-Divergence Decay (CDD). By using the domain-adapted model as the teacher and the original base model as the student, we effectively balance deep domain knowledge injection with the preservation of general agent capabilities. Experimental results demonstrate that the KuaiRP models not only match the current state-of-the-art proprietary models in role-playing fidelity within our target domains, but also successfully recover general agent capabilities, maintaining extremely low deployment costs.