StudentBench: AI and human tutoring yield equivalent GRE learning gains

📄 arXiv: 2609.28470v1 📥 PDF

作者: Curtis Northcutt, Inaara Hasmani, Kevin Feng, Trevor Khangi, Andreas Plesner, Jonas Mueller

分类: cs.AI, cs.CY

发布日期: 2026-09-23

备注: 47 pages, including references and appendices. Project site: https://studentbench.org. GitHub: https://github.com/Handshake-AI-Research/studentbench

💡 一句话要点

提出StudentBench以评估AI与人类辅导的GRE学习效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人工智能辅导 GRE学习 教育技术 大规模数据收集 学习效果评估

📋 核心要点

  1. 现有的教育辅导方法主要依赖于人类教师，存在成本高、可扩展性差等问题。
  2. 论文提出了StudentBench平台，通过大规模数据收集和分析，比较AI辅导与人类辅导的效果。
  3. 实验结果显示，AI辅导在GRE学习收益上与人类辅导等效，且在某些领域表现更优，成本显著降低。

📝 摘要（中文）

人工智能为增强人类能力提供了前所未有的机会，但目前的研究主要集中在模型能力的提升上。本文介绍了StudentBench，一个AI教学评估工具和公共平台，能够进行大规模数据收集，分析大型语言模型（LLMs）是否能产生与人类辅导相当的学习收益。通过对2,383名参与者的研究，结果表明AI辅导在GRE学习收益上与专家人类辅导具有统计学上的等效性，并且在多个GRE领域中，表现最佳的AI辅导员的平均表现超越了人类辅导员。此外，专家人类辅导员对LLM生成的课程计划和练习问题进行了评估，结果显示AI辅导在多个维度上具有显著优势。StudentBench平台现已免费提供。

🔬 方法详解

问题定义：本文旨在解决AI辅导与人类辅导在GRE学习效果上的比较问题。现有方法主要依赖人类教师，导致成本高且难以扩展。

核心思路：通过构建StudentBench平台，收集大量学生与AI的互动数据，评估AI辅导的有效性，并与人类辅导进行对比。

技术框架：整体架构包括数据收集模块、学习效果评估模块和对比分析模块。数据收集模块记录学生与AI的互动，评估模块分析学习收益，对比模块则将AI与人类辅导的效果进行统计学比较。

关键创新：最重要的创新在于通过大规模数据集的构建，系统性地评估AI辅导的效果，并发现某些AI辅导员在特定领域超越了人类辅导员。

关键设计：在实验中，采用了多种评估指标，包括学习收益的统计分析，使用了适当的损失函数和评估标准，以确保结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AI辅导在GRE学习收益上与人类辅导具有统计学上的等效性（p = .015），并且在五个GRE领域中，表现最佳的AI辅导员的平均表现超越了人类辅导员。此外，某个AI辅导员以918倍的成本优势实现了与人类辅导相当的学习收益（p = .044）。

🎯 应用场景

该研究的潜在应用领域包括教育技术、在线学习平台和个性化学习系统。通过AI辅导，教育机构可以降低成本，提高学习效率，扩大教育资源的可及性，未来可能对教育行业产生深远影响。

📄 摘要（原文）

Artificial intelligence offers an unprecedented opportunity to augment human capabilities, yet progress at the frontier has focused primarily on advancing model capabilities. We introduce StudentBench, a suite of AI teaching evaluations and a public platform that enables large-scale data collection with over 175,000 student-AI messages to study whether large language models (LLMs) produce learning gains equivalent to human tutoring. Using StudentBench, we measured learning gains on Quantitative and Verbal GRE questions across 2,383 human participants receiving AI tutoring, human tutoring, or no tutoring. We establish that AI tutoring is statistically equivalent to expert human tutoring for GRE learning gains (p = .015), and in five of the seven GRE domains, the best performing AI tutor surpassed the human tutor, on average. In a second study, expert human tutors compared LLM-generated lesson plans and practice problems through 2,028 pairwise rubric evaluations. Together, the two studies clearly separate AI tutors across: (1) lesson planning, (2) practice-problem creation, (3) conversational pedagogy, (4) cost, and (5) engagement. Surprisingly, one AI tutor achieved learning gains equivalent to human tutoring (p = .044) at 918 times lower cost (USD 0.0052 for AI versus USD 4.81 for human, per percentage point gained). For Quantitative GRE sessions, faster AI replies correlated with more student messages, more messages with more correct practice, and more correct practice with larger learning gains (all p < .002). The StudentBench platform is freely available at https://studentbench.org.