Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation

📄 arXiv: 2607.08255v1 📥 PDF

作者: Miseong Shawn Kim

分类: cs.AI

发布日期: 2026-07-09

备注: 8 pages, 1 figure

💡 一句话要点

提出竞争与协作框架以提升编程学生的学习效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 知识蒸馏 AI教师 编程教育 强化学习 可验证学习 模仿学习 教育技术

📋 核心要点

  1. 现有的多教师知识蒸馏方法未能有效评估各个前沿模型的教学效果，且常依赖于偏向自身输出的LLM评判。
  2. 本文提出竞争-协作框架，通过执行基准测试对教师进行公平排名，并共同构建可验证的学习课程。
  3. 实验结果显示，模仿学习对已具备能力的学生并无提升，反而可能导致性能下降，而使用协作课程的强化学习环境则显著改善了学生的表现。

📝 摘要（中文）

大型语言模型日益成为生成训练数据的教师，然而现有的多教师知识蒸馏方法未能有效评估各个前沿模型的教学效果。本文提出了一种竞争-协作框架，通过执行基准测试对四个前沿AI教师进行排名，并共同构建可验证的课程以提升学生（Qwen2.5-Coder）的能力。研究发现，在执行验证下，所有教师在标准问题上表现接近完美，但在更具挑战性的问题上表现差异明显。模仿学习对已具备能力的学生并无提升，反而可能导致性能下降，而使用协作课程的强化学习环境则显著改善了学生的表现。我们发布了可复现的本地管道，支持在前沿技术栈上运行GRPO。

🔬 方法详解

问题定义：本文旨在解决现有多教师知识蒸馏方法中教师评估不公和模仿学习效果不佳的问题。现有方法未能有效区分不同教师的教学质量，导致学生学习效果受限。

核心思路：提出竞争-协作框架，通过执行基准测试对教师进行排名，确保教学质量的公平性，并利用这些教师共同构建可验证的学习课程，以提升学生的实际能力。

技术框架：整体架构包括四个前沿AI教师（Claude, Codex-GPT, Grok, Gemini），通过执行基准测试进行排名，随后协作构建课程。学生（Qwen2.5-Coder）在此课程中进行学习，采用强化学习与可验证奖励机制。

关键创新：最重要的技术创新在于通过执行验证机制对教师进行公平排名，而非简单合并输出。这一方法确保了学生在真实环境中学习，而非仅仅模仿教师的答案。

关键设计：在实验中，使用了执行基准测试（单元测试和标准输入输出检查）作为评判标准，并设计了相应的损失函数和奖励机制，以确保学生在学习过程中能够获得真实的反馈。

🖼️ 关键图片

img_0
img_1

📊 实验亮点

实验结果显示，在使用协作课程的强化学习环境下，学生在竞争问题上的表现从5.9%提升至8.8%，相对提升幅度达到49%。相比之下，模仿学习对学生的表现反而造成了下降，强调了新方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、编程教育和AI辅助学习系统。通过构建可验证的学习环境，学生能够在真实的编程任务中提升能力，未来可推广至其他学科的AI教学应用。

📄 摘要（原文）

Large language models increasingly serve as teachers generating training data for smaller students. Prior multi-teacher knowledge distillation methods merge outputs without determining which frontier model teaches best, often relying on an LLM judge biased toward its own outputs. We introduce a compete-then-collaborate framework where four frontier AI teachers (Claude, Codex-GPT, Grok, Gemini) are ranked head-to-head by an execution-based judge (unit tests and stdin-stdout checks) with fairness controls, and then collaborate to build a verifiable curriculum for a student (Qwen2.5-Coder). We report three findings. (1) Under execution verification, all teachers solve standard problems near-perfectly after self-correction (99-100%) due to a saturation effect, but harder competition problems separate them (Gemini 77% > Claude 69% = Codex 69% > Grok 50%); however, the robust student-side results do not depend on teacher ranking. (2) Imitation (SFT) on verified solutions does not improve, and can degrade, an already-competent student at 7B and 32B (e.g., from 76.7% to 72.7% on MBPP-test, and 5.9% to 2.9% on competition problems). (3) Using the same collaborative curriculum as a reinforcement learning with verifiable rewards (RLVR) environment improves the student (from 5.9% to 8.8% peak on competition problems, a +49% relative gain), reversing SFT's direction. The value of AI-teacher collaboration lies not in pooling answers to imitate, but in jointly constructing a verifiable environment where the student learns by doing. We release a reproducible on-prem pipeline (NVIDIA GB10) with framework patches for running GRPO on a bleeding-edge stack.