PEARL: Training Socratic Tutors with Pedagogically Aligned Reinforcement Learning

📄 arXiv: 2605.29582v1 📥 PDF

作者: Qikai Chang, Zhenrong Zhang, Linbo Chen, Pengfei Hu, Jianshu Zhang, Youhui Guo, Jun Du

分类: cs.LG, cs.CL

发布日期: 2026-05-28

备注: 16 pages, 7 figures

💡 一句话要点

PEARL：基于教学对齐强化学习训练苏格拉底式辅导模型

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 强化学习 苏格拉底式辅导 教学对齐 学生模拟 多目标优化

📋 核心要点

  1. 现有辅导模型缺乏有效的苏格拉底式指导，难以在多轮互动中平衡教学目标，且学生模拟的保真度和可控性不足。
  2. PEARL通过可控的学生模拟器、生成式奖励模型和稳定的多目标强化学习方案，实现教学对齐的苏格拉底式辅导。
  3. 实验表明，PEARL在多个基准测试中优于开源模型，并能与领先的闭源LLM竞争，证明了其有效性。

📝 摘要（中文）

大型语言模型(LLMs)在教育辅导方面展现出潜力，但有效的辅导不仅仅是解决问题，还必须提供渐进式的苏格拉底式指导，并在多轮互动中平衡多个教学目标。然而，由于低保真和弱可控的学生模拟、欠规范的教学奖励建模以及不稳定的多目标优化，训练此类辅导模型仍然具有挑战性。为了克服这些限制，我们提出了PEARL，一个用于训练苏格拉底式辅导代理的教学对齐强化学习框架，它由三个关键组件组成。首先，我们引入了一个可控的学生模拟器，它将潜在的认知状态与响应生成分离，以模拟不同的能力和误解。其次，我们开发了一个生成式奖励模型，该模型联合评估教学质量和客观正确性，以进行策略优化。最后，我们提出了一种稳定的多目标RL方案，该方案离散化每个维度内的奖励，并聚合跨维度的标准化优势，防止高方差目标主导更新。在多个基准测试上的实验表明，PEARL在开源模型中实现了最佳性能，并且在使用仅30B的策略模型的情况下，仍然与领先的专有LLM具有竞争力。

🔬 方法详解

问题定义：论文旨在解决如何训练能够进行有效苏格拉底式辅导的智能体的问题。现有方法在学生模拟的真实性、教学奖励的准确性以及多目标优化的稳定性方面存在不足，导致训练出的辅导模型难以提供高质量的个性化指导。

核心思路：PEARL的核心思路是通过强化学习训练一个苏格拉底式辅导智能体，使其能够根据学生的认知状态和学习进度，提供合适的指导和反馈。为了解决现有方法的不足，PEARL引入了可控的学生模拟器、生成式奖励模型和稳定的多目标优化方案。

技术框架：PEARL框架包含三个主要模块：可控学生模拟器、生成式奖励模型和多目标强化学习策略优化。首先，学生模拟器模拟不同能力和误解的学生，为智能体提供训练环境。然后，生成式奖励模型评估智能体的教学质量和答案正确性，生成奖励信号。最后，多目标强化学习算法根据奖励信号优化智能体的策略，使其能够提供更有效的苏格拉底式辅导。

关键创新：PEARL的关键创新在于其教学对齐的强化学习框架，该框架能够有效地训练苏格拉底式辅导智能体。具体来说，可控学生模拟器能够更真实地模拟学生的学习过程，生成式奖励模型能够更准确地评估教学质量，稳定的多目标优化方案能够更有效地平衡多个教学目标。

关键设计：可控学生模拟器通过解耦潜在认知状态和响应生成来提高可控性。生成式奖励模型使用生成模型联合评估教学质量和客观正确性。多目标强化学习方案通过离散化奖励和聚合标准化优势来提高优化稳定性。具体参数设置和网络结构在论文中有详细描述，此处不再赘述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，PEARL在多个基准测试中取得了最佳性能，超过了现有的开源模型，并且在使用较小模型（30B）的情况下，能够与领先的闭源LLM竞争。这证明了PEARL框架的有效性和优越性，以及其在苏格拉底式辅导方面的潜力。

🎯 应用场景

PEARL具有广泛的应用前景，可以用于开发个性化学习平台、智能辅导系统和教育游戏。它可以帮助学生更有效地学习知识，提高学习效率和兴趣。此外，PEARL还可以用于教师培训，帮助教师提高教学水平和个性化指导能力。未来，PEARL有望成为教育领域的重要技术支撑。

📄 摘要（原文）

Large Language Models (LLMs) have shown promise as educational tutors, yet effective tutoring requires more than solving problems: it must provide progressive Socratic guidance and balance multiple pedagogical objectives across multi-turn interactions. However, training such tutors remains challenging due to limited-fidelity and weakly controllable student simulation, under-specified pedagogical reward modeling, and unstable multi-objective optimization. To overcome these limitations, we propose PEARL, a pedagogically aligned reinforcement learning framework for training Socratic tutoring agents, consisting of three key components. First, we introduce a controllable student simulator that decouples latent cognitive states from response generation to model diverse abilities and misconceptions. Second, we develop a generative reward model that jointly evaluates pedagogical quality and objective correctness for policy optimization. Finally, we propose a stable multi-objective RL scheme that discretizes rewards within each dimension and aggregates normalized advantages across dimensions, preventing high-variance objectives from dominating updates. Experiments on multiple benchmarks show that PEARL achieves the best performance among open-source models and remains competitive with leading proprietary LLMs, despite using only a 30B policy model.