Guardrails or Roadblocks? Effects of Pedagogical Style and Context Awareness in AI Teaching Assistants for Programming
作者: Madeleine Eastwood, Harshith Narne, Joseph Hilby, Paul Denny, Ashish Aggarwal, Amanpreet Kapoor
分类: cs.HC, cs.AI
发布日期: 2026-09-24
💡 一句话要点
探讨AI教学助手的教学风格与上下文意识对编程学习的影响
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI教学助手 编程教育 教学风格 上下文意识 学习体验 随机对照试验
📋 核心要点
- 现有的AI教学助手在提供支持时可能过于限制，导致学生的学习体验受到影响。
- 本研究通过随机对照试验，探讨不同教学风格和上下文意识对学生学习效果的影响。
- 实验结果表明，护栏式AI TA的有效性依赖于教学指导与上下文意识的平衡，且并非总是有利于学习。
📝 摘要（中文）
随着大型语言模型（LLMs）和教学护栏的支持，AI教学助手（AI TAs）越来越多地被应用于编程课程，为学生提供可扩展的提示、概念解释和代码反馈。然而，护栏可能会造成摩擦。如果学生觉得提供的支持过于限制或与他们当前的进展不匹配，他们可能会绕过这些工具，转而使用通用的LLM。为研究AI TA设计如何影响学生学习体验，我们在一门入门编程课程中进行了随机对照试验，涉及132名学生。学生完成了与代码编写和调试相关的三项任务，并随机分配到四种不同的AI TA中，这些AI TA在教学指导风格（苏格拉底式与直接指导）和上下文意识（无上下文与完整上下文）两个维度上有所不同。结果显示，学生对具有完整上下文的苏格拉底式AI TA的评价最低，认为其对任务完成的支持显著较低。
🔬 方法详解
问题定义：本研究旨在解决AI教学助手在编程课程中可能造成的学习支持限制问题，现有方法在上下文意识和教学风格的平衡上存在不足。
核心思路：通过设计不同风格和上下文意识的AI TA，研究其对学生学习体验的影响，探索如何优化AI TA的设计以提升学习效果。
技术框架：研究采用随机对照试验设计，参与者被分为四组，分别使用不同类型的AI TA，任务包括代码编写和调试，评估学生的互动行为和学习理解。
关键创新：本研究的创新在于系统地比较了不同教学风格（苏格拉底式与直接指导）和上下文意识（无上下文与完整上下文）对学习效果的影响，揭示了护栏式AI TA的设计并非总是有利于学习。
关键设计：实验中设置了四种AI TA，分别在教学风格和上下文意识上进行变化，评估学生的任务完成感知、互动行为和后续理解，关注不同条件下的学习支持感受。
🖼️ 关键图片
📊 实验亮点
实验结果显示，具有完整上下文的苏格拉底式AI TA的支持感知最低，且观察到的互动压力最高，外部LLM使用率最高，后续理解的完整性最低。这些发现表明，护栏式AI TA的有效性依赖于设计的平衡，而非单纯的护栏设置。
🎯 应用场景
该研究的结果对教育技术领域具有重要意义，尤其是在编程教育中，能够为AI教学助手的设计提供实证依据。未来，优化AI TA的教学风格和上下文意识将有助于提升学生的学习体验和效果，推动教育的个性化和智能化发展。
📄 摘要（原文）
AI teaching assistants (AI TAs) backed by large language models (LLMs) and pedagogical guardrails are increasingly being integrated into programming courses, providing students with scalable access to hints, conceptual explanations, and code-level feedback. However, guardrails may also create friction. If students feel that the support provided is overly restrictive or poorly contextualized to their current progress, they may bypass approved tools for general-purpose LLMs. To investigate how AI TA design affects students' learning experiences, we conducted a randomized controlled trial with 132 students in an introductory programming course. Students completed three tasks related to code-writing and debugging and were randomly assigned to one of four AI TAs varied across two dimensions: pedagogical guidance style (Socratic vs. Direct instruction) and context awareness (no context vs. full context of the problem and student solution). We examined students' perceptions, interaction behaviors, and evidence of post-task comprehension. Students rated the Socratic AI TA with full context least favorably, reporting significantly lower perceived support for task completion. Descriptively, this condition also showed the highest observed interaction stress, the highest rate of external LLM use, and the lowest proportion of post-task explanations demonstrating full comprehension, though these differences were not statistically significant. These findings suggest that guardrailed AI TAs are not automatically better for learning. Instead, their effectiveness depends on how pedagogical guidance and contextual awareness are balanced in ways that students experience as useful, supportive, and worth continuing to use.