Enhancing Online Learning by Integrating Biosensors and Multimodal Learning Analytics for Detecting and Predicting Student Behavior: A Review

📄 arXiv: 2509.07742v1 📥 PDF

作者: Alvaro Becerra, Ruth Cobos, Charles Lang

分类: cs.HC, cs.AI, cs.CV

发布日期: 2025-09-09

备注: Accepted for publication in Behaviour & Information Technology (Taylor & Francis). Final published version will be available soon at https://www.tandfonline.com/journals/tbit20

💡 一句话要点

综述：融合生物传感器与多模态学习分析以增强在线学习，预测学生行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 在线学习 生物传感器 多模态学习分析 学生行为预测 自适应学习

📋 核心要点

  1. 现有在线学习方法难以充分理解学生的认知状态和行为，限制了个性化学习体验的提供。
  2. 该综述的核心思想是整合生物传感器数据（如心率、脑电）与多模态学习分析，以更全面地了解学生行为。
  3. 通过分析54项相关研究，该综述总结了当前研究趋势、局限性以及未来方向，为自适应学习系统发展提供参考。

📝 摘要（中文）

本系统性综述探讨了生物传感器与多模态学习分析(MmLA)的集成，用于分析和预测计算机学习过程中学生的行为，旨在提升参与度和优化教育成果。研究考察了关键挑战，包括情绪和注意力检测、行为分析、实验设计以及数据收集中的人口统计学考虑。研究强调了生理信号（如心率、脑活动和眼动追踪）与传统交互数据和自我报告相结合，以更深入地了解认知状态和参与度的作用。综述综合了54项关键研究的发现，分析了常用的方法，如高级机器学习算法和多模态数据预处理技术。确定了该领域当前的研究趋势、局限性和新兴方向，强调了生物传感器驱动的自适应学习系统的变革潜力。研究结果表明，整合多模态数据可以促进个性化学习体验、实时反馈和智能教育干预，最终朝着更加定制化和自适应的在线学习体验发展。

🔬 方法详解

问题定义：在线学习环境中，如何准确理解和预测学生的学习行为，以便提供个性化的学习体验和及时的干预？现有方法主要依赖于学生的交互数据和自我报告，缺乏对学生认知状态的直接测量，难以准确捕捉学生的情绪、注意力等关键信息。

核心思路：论文的核心思路是整合生物传感器数据（如心率、脑电、眼动追踪）与传统的多模态学习分析（MmLA）。生物传感器能够提供关于学生生理状态的客观数据，与学生的交互数据和自我报告相结合，可以更全面、深入地了解学生的学习行为和认知状态。

技术框架：该综述分析了54项相关研究，这些研究通常采用以下技术框架：1) 数据采集：使用生物传感器（如心率带、脑电帽、眼动仪）收集学生的生理信号，同时记录学生的交互数据（如点击、滚动）和自我报告（如问卷调查）。2) 数据预处理：对采集到的多模态数据进行清洗、降噪、同步和特征提取。3) 模型构建：使用机器学习算法（如支持向量机、神经网络）构建模型，用于预测学生的学习行为（如参与度、情绪、注意力）。4) 评估与验证：使用交叉验证等方法评估模型的性能，并进行实验验证。

关键创新：该综述的关键创新在于强调了生物传感器在在线学习行为分析中的作用。与传统方法相比，生物传感器能够提供关于学生生理状态的客观数据，可以更准确地捕捉学生的情绪、注意力等关键信息，从而提高学习行为预测的准确性和可靠性。

关键设计：不同的研究在生物传感器的选择、数据预处理方法、特征提取方法和机器学习算法的选择上存在差异。一些研究侧重于使用深度学习模型自动提取特征，而另一些研究则侧重于手工设计特征。常用的生理信号特征包括心率变异性、脑电功率谱、眼动追踪指标等。常用的机器学习算法包括支持向量机、随机森林、神经网络等。

📊 实验亮点

该综述分析了54项相关研究，发现整合生物传感器数据可以显著提高在线学习行为预测的准确性。例如，一些研究表明，结合心率变异性和眼动追踪数据可以更准确地预测学生的注意力水平，从而为自适应学习系统的设计提供更可靠的依据。具体性能提升幅度未知，但总体趋势表明多模态融合优于单一数据源。

🎯 应用场景

该研究成果可应用于开发更智能、更个性化的在线学习系统。通过实时监测学生的生理信号和学习行为，系统可以自动调整学习内容和难度，提供个性化的反馈和干预，从而提高学生的学习效果和参与度。此外，该研究还可以应用于教育评估和诊断，帮助教师更好地了解学生的学习情况，并制定相应的教学策略。

📄 摘要（原文）

In modern online learning, understanding and predicting student behavior is crucial for enhancing engagement and optimizing educational outcomes. This systematic review explores the integration of biosensors and Multimodal Learning Analytics (MmLA) to analyze and predict student behavior during computer-based learning sessions. We examine key challenges, including emotion and attention detection, behavioral analysis, experimental design, and demographic considerations in data collection. Our study highlights the growing role of physiological signals, such as heart rate, brain activity, and eye-tracking, combined with traditional interaction data and self-reports to gain deeper insights into cognitive states and engagement levels. We synthesize findings from 54 key studies, analyzing commonly used methodologies such as advanced machine learning algorithms and multimodal data pre-processing techniques. The review identifies current research trends, limitations, and emerging directions in the field, emphasizing the transformative potential of biosensor-driven adaptive learning systems. Our findings suggest that integrating multimodal data can facilitate personalized learning experiences, real-time feedback, and intelligent educational interventions, ultimately advancing toward a more customized and adaptive online learning experience.