Evaluating Feedback Focus and Pedagogical Adaptivity in LLM-Generated Feedback on Student Writing

📄 arXiv: 2609.28026v1 📥 PDF

作者: Norah Almousa, Shayan Peyghambari Oskoui, Raquel Coelho, Gayle Rogers, Xiang Lorraine Li, Diane Litman

分类: cs.CL, cs.AI

发布日期: 2026-09-23

备注: Accepted at AIME-Con 2026. Camera-ready version

💡 一句话要点

提出FeedType以评估LLM生成反馈的教学适应性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 反馈生成 教学适应性 教育技术 数据集构建 写作反馈 个性化学习

📋 核心要点

  1. 现有研究对LLM生成反馈的重点和适应性关注不足，未能充分评估其与教师反馈的相似性。
  2. 本文通过改进Narciss的反馈分类法，提出FeedType基准数据集，以对比教师与LLM生成的反馈类型。
  3. 研究结果表明，虽然LLM覆盖了大部分反馈类型，但在适应性方面表现不佳，未能匹配教师的反馈行为。

📝 摘要（中文）

本研究探讨了最先进的大型语言模型（LLMs）生成的反馈是否反映了专家教师的教学实践，特别是在反馈重点和适应性方面。尽管已有研究关注反馈特征及其对学习的影响，但反馈的重点和适应性仍未得到充分研究。为填补这一空白，本文采用并改进了Narciss的分类法，将其细分为七种反馈重点类型，以对比教师和LLM生成的反馈。我们发布了FeedType基准数据集，包含来自六个LLM在三种提示策略下的注释反馈。研究发现，虽然大多数LLM覆盖了大部分反馈重点类型，但未能反映教师反馈的分布，且适应性水平各异，均未达到教师的适应行为。我们相信FeedType将支持未来在LLM反馈生成中的教学对齐研究。

🔬 方法详解

问题定义：本研究旨在解决LLM生成的反馈在重点和适应性方面与专家教师反馈的差异，现有方法未能充分评估这些特征的影响。

核心思路：通过改进Narciss的反馈分类法，将反馈细分为七种类型，并构建FeedType数据集，以系统评估LLM的反馈特征。

技术框架：研究首先收集教师和LLM生成的反馈数据，然后使用改进的分类法对其进行注释，最后分析反馈类型的覆盖率和适应性。

关键创新：FeedType数据集的发布是本研究的主要创新，提供了一个标准化的基准，用于评估LLM反馈的教学适应性。

关键设计：在数据集构建中，采用了多种提示策略以生成多样化的反馈，并对反馈进行系统的注释和分类，以确保数据的全面性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，大多数LLM能够覆盖大部分反馈重点类型，但在适应性方面表现不佳，未能达到教师的反馈水平。具体而言，LLM的适应性水平存在显著差异，未能有效反映学生的不同表现和草稿阶段。

🎯 应用场景

该研究的潜在应用领域包括教育技术、智能辅导系统和个性化学习平台。通过提高LLM生成反馈的教学适应性，可以更好地支持学生的写作和学习过程，提升教育效果。

📄 摘要（原文）

We investigate whether state-of-the-art large language models (LLMs) generate feedback that reflects the pedagogical practices of expert teachers in terms of feedback focus and adaptivity. Previous evaluation efforts have examined feedback characteristics, its impact on learning, and its target, yet the focus of feedback and its adaptivity remains largely overlooked. To bridge this gap, we adopt and refine Narciss's taxonomy into seven feedback focus types to annotate teacher and LLM-generated feedback across three university writing courses. We release FeedType, a benchmark containing annotated teacher and LLM feedback from six LLMs under three prompting strategies. We assess the coverage and distribution of feedback focus types, and examine whether LLMs adapt their feedback across draft stages and student performance levels as an expert instructor does. Our findings show that while most LLMs cover most feedback focus types, they fail to reflect teacher feedback distributions and show varying levels of adaptivity, with none matching the teachers' adaptive behavior. We believe FeedType will support future research on pedagogical alignment in LLM feedback generation.