A multimodal dataset for understanding the impact of mobile phones on remote online virtual education

📄 arXiv: 2412.14195v3 📥 PDF

作者: Roberto Daza, Alvaro Becerra, Ruth Cobos, Julian Fierrez, Aythami Morales

分类: cs.HC, cs.CV

发布日期: 2024-12-13 (更新: 2025-08-28)

备注: Published in Scientific Data (Nature). GitHub repository of the dataset at: https://github.com/BiDAlab/IMPROVE

期刊: Scientific Data (2025) 12:1332

DOI: 10.1038/s41597-025-05681-7

💡 一句话要点

IMPROVE：一个用于理解手机使用对远程在线教育影响的多模态数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态数据集 在线教育 手机使用 行为分析 生物特征识别

📋 核心要点

  1. 现有研究缺乏对在线教育中手机使用影响的全面多模态数据集，难以深入分析其对学习行为和生理状态的影响。
  2. IMPROVE数据集通过同步采集行为、生物特征、生理和学业表现等多模态数据，旨在全面评估手机使用对在线学习的影响。
  3. 该数据集包含120名学习者的数据，并进行了技术验证和统计分析，证实了数据质量和手机使用与生物特征变化之间的关联。

📝 摘要（中文）

本文介绍IMPROVE数据集，这是一个多模态资源，旨在评估在线教育期间手机使用对学习者的影响。该数据集包含从120名学习者收集的行为、生物特征、生理和学业表现数据，这些学习者被分为三组，具有不同程度的手机互动，从而能够分析手机使用及其相关现象（如手机依赖症）的影响。实验设置包括16个同步传感器，包括脑电图（EEG）、眼动追踪、摄像机、智能手表和击键动力学，用于监测学习者在30分钟课程中的活动，课程内容包括教育视频、文档阅读和多项选择题。手机使用事件，包括受控干预和非受控互动，由监督员标记，并通过半监督重新标记过程进行改进。技术验证确认了信号质量，统计分析揭示了与手机使用相关的生物特征变化。该数据集通过GitHub和Science Data Bank公开提供研究使用，包含来自三个平台（edBB、edX和LOGGE）的同步记录，采用标准格式（.csv、.mp4、.wav和.tsv），并附有详细指南。

🔬 方法详解

问题定义：该论文旨在解决在线教育场景下，手机使用对学习者学习效果和行为模式的影响评估问题。现有方法缺乏全面、多模态的数据支撑，难以量化手机干扰对学习过程的实际影响，以及不同程度的手机互动对学习者生理和心理状态的差异。

核心思路：论文的核心思路是通过构建一个包含行为、生物特征、生理和学业表现的多模态数据集，来全面捕捉学习者在使用手机过程中的各种变化。通过对不同手机使用程度的学习者进行对比分析，揭示手机使用与学习效果之间的关联。

技术框架：IMPROVE数据集的构建流程主要包括以下几个阶段： 1. 实验设计：招募120名学习者，分为三组，分别代表不同的手机互动水平。 2. 数据采集：使用16个同步传感器，包括EEG、眼动追踪、摄像机、智能手表和击键动力学等，记录学习者在30分钟在线学习过程中的数据。 3. 数据标注：人工标注手机使用事件，包括受控干预和非受控互动，并使用半监督方法进行优化。 4. 数据验证：进行技术验证，确认信号质量，并进行统计分析，验证数据有效性。

关键创新：该数据集的关键创新在于其多模态性，它整合了行为、生物特征、生理和学业表现等多维度的数据，能够更全面地反映手机使用对学习者的影响。此外，半监督重新标记过程提高了数据标注的准确性。

关键设计：实验中，学习者参与30分钟的在线学习课程，内容包括教育视频、文档阅读和多项选择题。数据以标准格式（.csv、.mp4、.wav和.tsv）存储，方便研究人员使用。数据集包含来自edBB、edX和LOGGE三个平台的同步记录。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该数据集通过技术验证确认了信号质量，并进行了统计分析，揭示了手机使用与生物特征变化之间的关联。例如，研究发现手机使用会影响学习者的脑电活动和眼动模式。数据集包含来自三个平台的同步记录，并采用标准格式，方便研究人员使用。

🎯 应用场景

该数据集可用于研究手机使用对在线学习的影响，例如分析手机干扰对学习效率的影响、开发个性化学习辅助工具、设计更有效的在线教育课程。此外，该数据集还可用于研究手机依赖症等相关问题，为心理学和行为科学研究提供数据支持。

📄 摘要（原文）

This work presents the IMPROVE dataset, a multimodal resource designed to evaluate the effects of mobile phone usage on learners during online education. It includes behavioral, biometric, physiological, and academic performance data collected from 120 learners divided into three groups with different levels of phone interaction, enabling the analysis of the impact of mobile phone usage and related phenomena such as nomophobia. A setup involving 16 synchronized sensors-including EEG, eye tracking, video cameras, smartwatches, and keystroke dynamics-was used to monitor learner activity during 30-minute sessions involving educational videos, document reading, and multiple-choice tests. Mobile phone usage events, including both controlled interventions and uncontrolled interactions, were labeled by supervisors and refined through a semi-supervised re-labeling process. Technical validation confirmed signal quality, and statistical analyses revealed biometric changes associated with phone usage. The dataset is publicly available for research through GitHub and Science Data Bank, with synchronized recordings from three platforms (edBB, edX, and LOGGE), provided in standard formats (.csv, .mp4, .wav, and .tsv), and accompanied by a detailed guide.