Revealing Networks: Understanding Effective Teacher Practices in AI-Supported Classrooms using Transmodal Ordered Network Analysis
作者: Conrad Borchers, Yeyu Wang, Shamya Karumbaiah, Muhammad Ashiq, David Williamson Shaffer, Vincent Aleven
分类: cs.CY, cs.AI
发布日期: 2023-12-17
备注: Full paper accepted to Learning Analytics and Knowledge (LAK 2024)
💡 一句话要点
利用跨模态有序网络分析揭示AI辅助课堂中有效的教师实践
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 学习分析 AI辅助教学 教师实践 跨模态分析 定量人种学
📋 核心要点
- 现有方法难以有效利用课堂中AI系统产生的丰富数据，特别是师生互动数据，来深入了解有效的教师实践。
- 论文提出使用跨模态有序网络分析方法，将多模态数据流整合为共现行为网络，从而揭示有利的学习条件。
- 实验结果表明，结合教师实践数据显著提高了学生在AI辅导系统中学习效率的推断，并发现了不同学习率学生的不同行为模式。
📝 摘要（中文）
学习分析研究越来越多地利用来自AI系统外部的丰富上下文数据（特别是师生互动）来研究基于AI系统的课堂学习。利用这些数据的关键挑战在于深入了解有效的教师实践。定量人种学有潜力通过将多模态数据流组合成共现行为网络来弥合这一差距，从而深入了解有利的学习条件。本研究使用跨模态有序网络分析来理解数学课堂中使用AI辅导系统时，有效教师实践与系统内学习传统指标的关系。将位置跟踪和人工观察代码捕获的教师实践纳入建模，显著提高了学生在AI辅导系统中学习效率的推断，优于仅使用辅导系统日志数据特征的模型。通过学生学习率比较教师实践，我们发现低学习率的学生在监控后更多地使用提示。然而，在长时间访问后，低学习率的学生表现出与高学习率同伴相似的学习行为，在辅导系统中重复尝试并获得正确答案。观察笔记表明，概念和程序支持的差异可以帮助解释访问的有效性。综上所述，为低学习率的学生提供早期概念支持可以使AI辅导系统的课堂实践更有效。本研究推进了对AI辅导系统课堂中有效教师实践的科学理解，以及使这些实践可见的方法。
🔬 方法详解
问题定义：论文旨在解决如何从AI辅助课堂环境中产生的多模态数据（例如，学生在AI辅导系统中的行为数据、教师的教学行为数据等）中提取有意义的信息，从而理解和改进教师的教学实践。现有方法通常只关注系统内部的数据，忽略了教师行为等外部因素，或者难以将不同模态的数据有效整合，导致对教师实践的理解不够深入。
核心思路：论文的核心思路是利用定量人种学的方法，将来自不同来源（例如，AI辅导系统日志、教师位置追踪、人工观察记录）的多模态数据整合到一个统一的框架中，构建一个表示课堂行为共现关系的网络。通过分析这个网络，可以识别出与学生学习效果相关的关键教师行为模式，从而为改进教学实践提供依据。
技术框架：论文采用跨模态有序网络分析（Transmodal Ordered Network Analysis, TONA）方法。TONA首先将不同模态的数据进行编码，例如将教师的行为编码为一系列离散的事件。然后，TONA计算这些事件之间的共现频率，构建一个网络，其中节点表示事件，边表示事件之间的共现关系。TONA还考虑了事件发生的顺序，从而可以捕捉到事件之间的因果关系。最后，TONA使用网络分析技术来识别网络中的关键节点和路径，从而揭示与学生学习效果相关的教师行为模式。
关键创新：论文的关键创新在于将跨模态有序网络分析方法应用于AI辅助课堂环境，并将其与传统的学习分析方法相结合。通过整合来自不同来源的多模态数据，论文能够更全面地理解教师的教学实践，并识别出与学生学习效果相关的关键因素。此外，论文还提出了一种新的方法来比较不同学习率学生的教师实践，从而为个性化教学提供了依据。
关键设计：论文的关键设计包括：1) 使用位置追踪和人工观察代码来捕获教师的行为数据；2) 使用AI辅导系统日志数据来衡量学生的学习效果；3) 使用跨模态有序网络分析方法来构建和分析课堂行为网络；4) 使用统计模型来评估教师实践对学生学习效果的影响。具体的参数设置、损失函数、网络结构等技术细节在论文中没有详细描述，属于未知信息。
📊 实验亮点
研究表明，将教师实践数据纳入模型后，学生在AI辅导系统中学习效率的推断显著提高，优于仅使用辅导系统日志数据的模型。通过比较不同学习率学生的教师实践，发现低学习率的学生在监控后更多地使用提示，但在长时间访问后，他们的学习行为与高学习率学生相似。观察笔记表明，概念和程序支持的差异可以解释访问的有效性。
🎯 应用场景
该研究成果可应用于改进AI辅助教学系统的设计，为教师提供个性化的教学建议，提高课堂教学效率。通过分析教师行为与学生学习效果之间的关系，可以开发出更有效的教师培训项目，帮助教师更好地利用AI技术来支持学生的学习。此外，该方法还可以推广到其他教育场景，例如在线学习、混合式学习等。
📄 摘要（原文）
Learning analytics research increasingly studies classroom learning with AI-based systems through rich contextual data from outside these systems, especially student-teacher interactions. One key challenge in leveraging such data is generating meaningful insights into effective teacher practices. Quantitative ethnography bears the potential to close this gap by combining multimodal data streams into networks of co-occurring behavior that drive insight into favorable learning conditions. The present study uses transmodal ordered network analysis to understand effective teacher practices in relationship to traditional metrics of in-system learning in a mathematics classroom working with AI tutors. Incorporating teacher practices captured by position tracking and human observation codes into modeling significantly improved the inference of how efficiently students improved in the AI tutor beyond a model with tutor log data features only. Comparing teacher practices by student learning rates, we find that students with low learning rates exhibited more hint use after monitoring. However, after an extended visit, students with low learning rates showed learning behavior similar to their high learning rate peers, achieving repeated correct attempts in the tutor. Observation notes suggest conceptual and procedural support differences can help explain visit effectiveness. Taken together, offering early conceptual support to students with low learning rates could make classroom practice with AI tutors more effective. This study advances the scientific understanding of effective teacher practice in classrooms learning with AI tutors and methodologies to make such practices visible.