Rethinking the Potential of Multimodality in Collaborative Problem Solving Diagnosis with Large Language Models
作者: K. Wong, B. Wu, S. Bulathwela, M. Cukurova
分类: cs.CL, cs.AI, cs.LG
发布日期: 2025-04-21
备注: Accepted for 26th International Conference on Artificial Intelligence in Education (AIED 2025), 22 - 26 July 2025, Palermo, Italy. 17 pages, 1 figure
💡 一句话要点
利用大语言模型，探索多模态数据在协同问题解决诊断中的潜力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 协同问题解决 多模态学习 大语言模型 教育人工智能 Transformer模型
📋 核心要点
- 现有方法在利用多模态数据诊断协同问题解决能力方面，缺乏充分的实证支持，效果并不明确。
- 本研究探索了文本和音频等多模态数据融合，并结合Transformer模型，以提升CPS子技能和指标的诊断性能。
- 实验结果表明，多模态Transformer模型在诊断社交认知类CPS指标时，优于单模态Transformer模型。
📝 摘要（中文）
本研究旨在探讨多模态数据在提升协同问题解决（CPS）能力诊断模型性能方面的潜力。通过分析78名中学生的真实教育场景数据，研究利用文本嵌入（来自口头数据）和声学嵌入（来自音频数据）构建多模态分类模型，用于CPS子技能和指标的诊断。结果表明，基于Transformer的单模态和多模态模型均优于传统模型。虽然多模态数据并未提升传统单模态模型的性能，但其与Transformer模型的集成，在社交认知CPS类别诊断方面表现出优于单模态Transformer模型的性能。研究强调，多模态和建模技术的选择并非在所有CPS子技能和指标的自动检测中都能保证最佳性能，其价值受限于CPS指标的类型、标签的复杂性以及数据集的指标构成。最后，讨论了在自动CPS诊断中考虑LLM和多模态价值时所需的细微差别，强调人机互补的必要性，并建议探索相关的模型架构和技术以改进真实教育环境中的CPS诊断。
🔬 方法详解
问题定义：论文旨在解决如何更准确地诊断学生的协同问题解决（CPS）能力。现有方法，特别是传统模型，在利用多模态数据进行CPS诊断时，性能有限，且多模态数据的价值存在争议。现有方法的痛点在于无法有效融合不同模态的信息，难以捕捉复杂的CPS行为。
核心思路：论文的核心思路是利用Transformer模型强大的特征提取能力，结合文本和音频等多模态数据，提升CPS诊断的准确性。通过将文本和音频数据分别嵌入到向量空间，然后将这些嵌入向量融合，输入到Transformer模型中进行分类。
技术框架：整体框架包括数据预处理、特征提取、模型训练和评估四个主要阶段。数据预处理阶段包括文本和音频数据的清洗和分割。特征提取阶段使用预训练的语言模型（如BERT）提取文本嵌入，并使用声学模型提取音频嵌入。模型训练阶段使用Transformer模型进行分类，并使用交叉熵损失函数进行优化。评估阶段使用准确率、精确率、召回率和F1值等指标评估模型性能。
关键创新：最重要的技术创新点在于将多模态数据与Transformer模型相结合，用于CPS诊断。与现有方法相比，该方法能够更有效地融合不同模态的信息，捕捉更复杂的CPS行为。此外，论文还发现多模态数据并非在所有CPS指标的诊断中都能带来提升，其价值取决于CPS指标的类型和复杂性。
关键设计：文本嵌入使用预训练的BERT模型，音频嵌入使用预训练的声学模型。Transformer模型的层数、隐藏层大小和注意力头数等参数需要根据具体数据集进行调整。损失函数使用交叉熵损失函数。在多模态融合方面，论文尝试了不同的融合策略，如拼接和注意力机制。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于Transformer的单模态和多模态模型均优于传统模型。多模态Transformer模型在诊断社交认知类CPS指标时，相比单模态Transformer模型，性能有所提升。研究发现，多模态的价值并非普适，其有效性依赖于CPS指标的类型和复杂性。例如，对于某些简单的CPS指标，单模态模型可能已经足够。
🎯 应用场景
该研究成果可应用于智能教育平台，自动评估学生的协同问题解决能力，为教师提供个性化的教学建议。通过分析学生的文本和音频数据，可以识别学生在团队合作中的优势和劣势，从而帮助教师更好地指导学生进行协作学习。此外，该技术还可用于招聘领域，评估候选人的团队合作能力。
📄 摘要（原文）
Detecting collaborative and problem-solving behaviours from digital traces to interpret students' collaborative problem solving (CPS) competency is a long-term goal in the Artificial Intelligence in Education (AIEd) field. Although multimodal data and advanced models are argued to have the potential to detect complex CPS behaviours, empirical evidence on their value remains limited with some contrasting evidence. In this study, we investigated the potential of multimodal data to improve model performance in diagnosing 78 secondary school students' CPS subskills and indicators in authentic educational settings. In particular, text embeddings from verbal data and acoustic embeddings from audio data were used in a multimodal classification model for CPS diagnosis. Both unimodal and multimodal transformer-based models outperformed traditional models in detecting CPS classes. Although the inclusion of multimodality did not improve the performance of traditional unimodal models, its integration into transformer-based models demonstrated improved performance for diagnosing social-cognitive CPS classes compared to unimodal transformer-based models. Based on the results, the paper argues that multimodality and the selection of a particular modelling technique should not be taken for granted to achieve the best performance in the automated detection of every CPS subskill and indicator. Rather, their value is limited to certain types of CPS indicators, affected by the complexity of the labels, and dependent on the composition of indicators in the dataset. We conclude the paper by discussing the required nuance when considering the value of LLMs and multimodality in automated CPS diagnosis, highlighting the need for human-AI complementarity, and proposing the exploration of relevant model architectures and techniques to improve CPS diagnosis in authentic educational contexts.