The Assistance Dilemma: Learning to Teach via Multi-Turn Reinforcement Learning

📄 arXiv: 2610.06446v1 📥 PDF

作者: Jakub Macina, Manu Kapur, Mrinmaya Sachan

分类: cs.CL, cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出多轮强化学习方法以提升大语言模型的教学能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 强化学习 教学能力 认知卸载 教育技术 智能辅导 个性化学习

📋 核心要点

  1. 现有的RL训练的辅导员往往通过直接给出答案来提高学生的成功率，导致教学效果不佳。
  2. 本文提出了一种掩蔽的近转移后测评方法，鼓励学生独立思考，从而改善教学质量。
  3. 实验结果显示，Eduardo-27B模型在多个基准测试中表现优异，思考令牌使用量显著低于前沿模型。

📝 摘要（中文）

现有的大语言模型（LLMs）在教学方面表现不佳，尽管通过对模拟学生进行强化学习（RL）来改善其教学能力是一个有前景的方法。现有的RL训练的辅导员奖励机制往往鼓励直接给出答案。为此，本文引入了一种掩蔽的近转移后测评，学生在未见过的变体问题上进行测试，辅导员的发言被掩蔽，奖励只能通过学生自己的回答来获得。这种方法有效减少了学生的认知卸载，并通过两个二元奖励门来替代连续惩罚。通过这些设计，本文开发了Eduardo，一个用于训练LLM辅导员的多轮RL方法，并在不同规模的模型上进行了训练，取得了显著的效果。

🔬 方法详解

问题定义：本文旨在解决现有大语言模型在教学中的不足，特别是通过直接给出答案来提高学生成功率的问题。这种方法导致了学生的认知卸载，影响了学习效果。

核心思路：论文提出了一种新的奖励机制，通过掩蔽学生未见过的问题变体，确保奖励只能通过学生的独立回答获得，从而减少直接给出答案的倾向。

技术框架：整体架构包括两个主要模块：一是掩蔽的近转移后测评，二是基于奖励门的强化学习训练。后测评用于评估学生在未见过问题上的表现，而奖励门则用于评估辅导员的回答的准确性和是否存在解决方案的转移。

关键创新：最重要的创新点在于引入了掩蔽的后测评和二元奖励门，这与现有方法的连续惩罚机制形成了鲜明对比，能够有效减少学生的认知卸载。

关键设计：在模型训练中，使用了学习增益奖励和两个二元奖励门，分别用于评估辅导员回答的事实正确性和是否存在解决方案的转移。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

Eduardo-27B模型在MathTutorBench上与Gemini-3.1-Pro的表现相当，而在TutorMoments上则与Claude Opus 4.8相当，且思考令牌的使用量比前沿模型减少了2.4-6.2倍，显示出在互动辅导中的显著优势。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和个性化学习平台。通过提升大语言模型的教学能力，可以为学生提供更有效的学习支持，促进自主学习和深度理解，未来可能在教育行业产生深远影响。

📄 摘要（原文）

Large language models (LLMs) trained to answer questions are natively poor at teaching. Reinforcement Learning (RL) against a simulated student is a promising approach to improve their pedagogy, but existing RL-trained tutors reward the student's success on the tutored problem with the tutor's words still in context. The reward is then easiest to raise by telling the student the answer, and a tuned penalty is needed to reduce telling. Drawing on learning sciences, we introduce a masked near-transfer post-test: the student is tested on an unseen variant of the tutored problem with the tutor's utterances masked, so the reward can rise only through what the student wrote in its own turns. This discourages cognitive offloading by the student and allows the continuous penalty to be replaced by two binary reward gates (factual correctness of tutor response, no solution handover). A leave-one-out ablation shows that the learning-gain reward on its own does not separate teaching from telling: the gates reduce solution handover while the near-transfer post-test improves out-of-domain transfer. Using these reward designs we develop Eduardo, a multi-turn RL recipe for training LLM tutors, and use it to train 4B, 9B, 14B and 27B models from two distinct LLM architectures. Our post-trained Eduardo-27B model matches Gemini-3.1-Pro on MathTutorBench and Claude Opus 4.8 on TutorMoments at 2.4-6.2x fewer thinking tokens than frontier models, which matters for interactive tutoring. Without being named in the reward, the model more than doubles its use of the push-for-justification teacher move while support fading (e.g., assigning independent work), whose payoff lies beyond a single-problem dialog episode, is trained out. We open-source our training environment, an 8,671-problem near-transfer dataset, and trained models for further development.