Modeling Student Sensemaking with LLMs and Knowledge-Graph-Guided Inference
作者: Özge Alacam, Zübeyde Demet Kirbulut Güneş, Funda Ekici, Nurcan Turan-Oluk, Dilay Dinçdemir, Hakkı Kadayıfçı, Sevinç Nihal Yeşiloğlu, Burcu Işık, Halil Tümay, Sinem Gencer
分类: cs.CL
发布日期: 2026-09-25
💡 一句话要点
利用LLMs和知识图谱推理建模学生的意义构建
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 知识图谱 协作学习 意义构建 教育技术 智能辅导
📋 核心要点
- 现有方法在分析学生协作学习对话时，难以高效识别知识差距和成功的意义构建，且劳动强度大。
- 本文提出利用经过指令调优的LLMs，结合知识状态信息，进行多维度的协作意义构建分析。
- 实验结果显示，启用推理的模型在识别不成功的意义构建方面表现更佳，且与专家标注一致性提高。
📝 摘要（中文）
协作科学学习需要对学生对话进行细致的解读，以表征学习者如何识别知识差距、构建解释并朝着解决方案努力。然而，这种理论驱动的分析劳动密集且难以扩展。本文研究了经过指令调优的大型语言模型（LLMs）是否能够支持协作意义构建的多维分析，而无需特定任务的训练，以及结构化知识状态信息是否能改善模型推理。我们在23个丰富注释的专家标记案例上评估了两种中型LLMs，条件包括定义支架、推理模式和轮次结构的变化。结果表明，未启用推理时，模型倾向于过度预测成功的意义构建；启用推理的提示则改善了对不成功案例的识别。知识状态诊断提供了额外的基础，改善了对不成功意义构建的检测，并提高了与专家注释的一致性。没有单一配置在所有意义构建维度上表现最佳，突显了任务的多维特性。
🔬 方法详解
问题定义：本文旨在解决如何高效分析学生在协作学习中的对话，以识别知识差距和成功的意义构建。现有方法往往劳动密集且难以扩展，导致分析效率低下。
核心思路：论文的核心思路是利用经过指令调优的LLMs，结合结构化的知识状态信息，进行多维度的分析，旨在提高对学生意义构建过程的理解和识别能力。
技术框架：整体架构包括数据收集、模型训练和推理三个主要阶段。首先，收集23个专家标注的对话案例；其次，训练和评估两种中型LLMs；最后，通过不同的提示条件进行推理分析。
关键创新：最重要的技术创新在于结合知识状态信息与LLMs推理，显著改善了对不成功意义构建的检测能力，与传统方法相比，提供了更为准确的分析结果。
关键设计：在模型训练中，采用了多种提示条件，包括定义支架、推理模式和轮次结构的变化，确保模型能够在不同的上下文中进行有效推理。
🖼️ 关键图片
📊 实验亮点
实验结果表明，启用推理的模型在识别不成功的意义构建方面显著提高，与专家标注的一致性提升，且不同提示条件下的表现差异突出，强调了任务的多维特性。
🎯 应用场景
该研究的潜在应用领域包括教育技术、智能辅导系统和学习分析工具。通过更好地理解学生的协作学习过程，教育者可以设计出更具针对性的教学策略，提升学习效果。未来，该方法可能推动个性化学习和智能教育的发展。
📄 摘要（原文）
Collaborative science learning requires nuanced interpretation of student dialogue to characterize how learners identify knowledge gaps, build explanations, and work toward resolution - a theory-driven analysis that is labor-intensive and difficult to scale. We investigate whether instruction-tuned large language models (LLMs) can support multidimensional analysis of collaborative sensemaking without task-specific training, and whether structured knowledge-state information improves model inference. We evaluate two mid-size LLMs on 23 richly annotated, expert-labeled episodes across prompting conditions that vary definitional scaffolding, reasoning mode, and turn structure. Without reasoning, models tend to overpredict successful sensemaking; reasoning-enabled prompting improves identification of unsuccessful cases. Knowledge-state diagnostics provide additional grounding, improving detection of unsuccessful sensemaking and increasing agreement with expert annotations. No single configuration performs best across all sensemaking dimensions, underscoring the multidimensional nature of the task.