Multimodal Late Fusion Model for Problem-Solving Strategy Classification in a Machine Learning Game

📄 arXiv: 2507.22426v1 📥 PDF

作者: Clemens Witt, Thiemo Leonhardt, Nadine Bergner, Mareen Grillenberger

分类: cs.LG

发布日期: 2025-07-30

备注: This is the author's version of a paper accepted for publication at the 2025 European Conference on Technology Enhanced Learning (EC-TEL 2025). The final authenticated version will be published in the Lecture Notes in Computer Science (LNCS) series by Springer and will be available via SpringerLink

💡 一句话要点

提出多模态晚期融合模型，用于机器学习游戏中问题解决策略分类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 问题解决策略 机器学习游戏 隐性评估 教育数据挖掘

📋 核心要点

  1. 现有隐性评估方法依赖抽象游戏日志，忽略了与认知策略相关的细微行为线索。
  2. 提出多模态晚期融合模型，整合屏幕录像视觉数据和游戏内动作序列，分类解题策略。
  3. 实验结果表明，该融合模型优于单模态基线模型，分类准确率提升超过15%。

📝 摘要（中文）

机器学习模型被广泛应用于数字学习环境中的隐性评估。现有方法通常依赖于抽象的游戏日志数据，这可能会忽略与学习者认知策略相关的细微行为线索。本文提出了一种多模态晚期融合模型，该模型集成了基于屏幕录像的视觉数据和结构化的游戏内动作序列，以对学生的解题策略进行分类。在一项针对中学生的初步研究（N=149）中，学生们玩了一个多点触控教育游戏，融合模型优于单模态基线模型，分类准确率提高了15%以上。结果突出了多模态机器学习在交互式学习环境中进行策略敏感评估和自适应支持的潜力。

🔬 方法详解

问题定义：论文旨在解决在机器学习游戏中，如何更准确地分类学生的问题解决策略。现有方法主要依赖抽象的游戏日志数据，忽略了学生在游戏过程中的视觉行为信息，导致策略分类的准确性受限。因此，如何有效利用多模态数据（包括游戏操作序列和屏幕录像）来提升问题解决策略分类的准确性是本文要解决的核心问题。

核心思路：论文的核心思路是采用多模态晚期融合的方法，将从屏幕录像中提取的视觉特征和游戏内动作序列数据进行整合，从而更全面地捕捉学生的解题策略。这种方法允许各个模态独立地学习特征，然后在后期进行融合，避免了早期融合可能导致的信息损失。

技术框架：整体框架包含以下几个主要步骤：1) 数据收集：收集学生在游戏过程中的屏幕录像和游戏内动作序列数据。2) 特征提取：从屏幕录像中提取视觉特征，例如使用卷积神经网络（CNN）提取图像特征；从游戏内动作序列中提取结构化数据特征，例如动作类型、时间戳等。3) 模型训练：分别训练基于视觉特征和动作序列特征的单模态分类模型。4) 晚期融合：将单模态模型的预测结果进行融合，例如使用加权平均或逻辑回归等方法，得到最终的策略分类结果。

关键创新：该论文的关键创新在于将屏幕录像的视觉信息引入到问题解决策略的分类中，并采用多模态晚期融合的方法进行整合。与传统的仅依赖游戏日志数据的方法相比，该方法能够捕捉到更多与学生认知策略相关的细微行为线索，从而提升分类准确率。

关键设计：论文中关键的设计细节包括：1) 如何选择合适的视觉特征提取方法，例如选择预训练的CNN模型并在特定数据集上进行微调。2) 如何对游戏内动作序列数据进行有效的特征工程，例如提取关键动作的频率、持续时间等。3) 如何选择合适的晚期融合策略，例如使用加权平均或学习一个融合权重。4) 如何评估融合模型的性能，例如使用准确率、精确率、召回率等指标。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，多模态晚期融合模型在问题解决策略分类任务中优于单模态基线模型，分类准确率提高了15%以上。这表明整合屏幕录像的视觉信息能够显著提升策略分类的准确性，验证了多模态融合方法的有效性。

🎯 应用场景

该研究成果可应用于智能教育系统中，为学生提供个性化的学习支持和反馈。通过准确识别学生的解题策略，系统可以针对性地提供指导，帮助学生改进学习方法。此外，该方法还可以用于评估教育游戏的有效性，为游戏设计者提供改进建议，提升游戏的教育价值。

📄 摘要（原文）

Machine learning models are widely used to support stealth assessment in digital learning environments. Existing approaches typically rely on abstracted gameplay log data, which may overlook subtle behavioral cues linked to learners' cognitive strategies. This paper proposes a multimodal late fusion model that integrates screencast-based visual data and structured in-game action sequences to classify students' problem-solving strategies. In a pilot study with secondary school students (N=149) playing a multitouch educational game, the fusion model outperformed unimodal baseline models, increasing classification accuracy by over 15%. Results highlight the potential of multimodal ML for strategy-sensitive assessment and adaptive support in interactive learning contexts.