Structuring versus Problematizing: How LLM-based Agents Scaffold Learning in Diagnostic Reasoning
作者: Fatma Betül Güreş, Tanya Nazaretsky, Seyed Parsa Neshaei, Tanja Käser
分类: cs.HC, cs.AI
发布日期: 2026-04-10
备注: 12 pages, 8 figures. Accepted at LAK 2026
期刊: In Proceedings of the 16th International Learning Analytics and Knowledge Conference (LAK 2026), April 27-May 1, 2026, Bergen, Norway. ACM, New York, NY, USA
💡 一句话要点
提出PharmaSim Switch以解决药学技术人员诊断推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 情境学习 学习分析 大型语言模型 药学教育 诊断推理 支架方法 个性化学习
📋 核心要点
- 现有方法在支持学生发展诊断推理能力时面临认知偏差和策略转移困难的挑战。
- 论文提出PharmaSim Switch，通过结合情境学习、学习分析和大型语言模型，提供结构化和问题化的支架方法。
- 实验结果显示，两种支架方法均有效，且情境复杂度对表现结果的影响大于学生的先前知识。
📝 摘要（中文）
支持学生发展诊断推理能力是教育领域的一项关键挑战。新手常常面临认知偏差，如过早得出结论和过度依赖启发式方法，且在将诊断策略转移到新案例时存在困难。基于情境学习（SBL）结合学习分析（LA）和大型语言模型（LLM）的方法提供了一种有前景的解决方案。本文介绍了PharmaSim Switch，一个用于药学技术人员培训的SBL环境，扩展了一个基于LA和LLM的药剂师代理，实施基于结构化和问题化两种理论驱动的支架方法的教学对话。通过对63名职业学生的实验，结果表明两种支架方法均有效支持诊断策略的使用，且表现结果主要受情境复杂度影响，而非学生的先前知识或使用的支架方法。
🔬 方法详解
问题定义：本研究旨在解决药学技术人员在诊断推理过程中面临的认知偏差和策略转移困难。现有方法未能充分探讨不同支架方法如何影响推理过程。
核心思路：论文的核心思路是通过PharmaSim Switch环境，结合情境学习和大型语言模型，实施两种支架方法（结构化和问题化），以支持学生的诊断推理能力。
技术框架：整体架构包括情境学习环境、学习分析模块和大型语言模型驱动的药剂师代理。学习场景分为学习场景、近转移场景和远转移场景，学生在不同支架条件下进行学习。
关键创新：最重要的技术创新在于结合了结构化和问题化两种支架方法，能够根据学生的学习轨迹提供个性化支持，这与现有方法的单一支架策略形成鲜明对比。
关键设计：在设计中，重点考虑了情境复杂度的影响，设置了不同的学习场景，并通过对话系统实现了基于理论的教学对话，确保了支架方法的有效实施。
🖼️ 关键图片
📊 实验亮点
实验结果表明，结构化支架方法与更高的主动和互动参与度相关，而问题化支架方法则促进了更具建设性的参与。整体表现结果主要受情境复杂度影响，显示出两种支架方法在支持诊断策略使用方面的有效性。
🎯 应用场景
该研究的潜在应用领域包括药学教育、医疗培训和其他需要诊断推理的教育场景。通过结合学习分析和大型语言模型，PharmaSim Switch能够为学生提供个性化的学习支持，提升其诊断能力，未来可能对教育技术的发展产生深远影响。
📄 摘要（原文）
Supporting students in developing diagnostic reasoning is a key challenge across educational domains. Novices often face cognitive biases such as premature closure and over-reliance on heuristics, and they struggle to transfer diagnostic strategies to new cases. Scenario-based learning (SBL) enhanced by Learning Analytics (LA) and large language models (LLM) offers a promising approach by combining realistic case experiences with personalized scaffolding. Yet, how different scaffolding approaches shape reasoning processes remains insufficiently explored. This study introduces PharmaSim Switch, an SBL environment for pharmacy technician training, extended with an LA- and LLM-powered pharmacist agent that implements pedagogical conversations rooted in two theory-driven scaffolding approaches: \emph{structuring} and \emph{problematizing}, as well as a student learning trajectory. In a between-groups experiment, 63 vocational students completed a learning scenario, a near-transfer scenario, and a far-transfer scenario under one of the two scaffolding conditions. Results indicate that both scaffolding approaches were effective in supporting the use of diagnostic strategies. Performance outcomes were primarily influenced by scenario complexity rather than students' prior knowledge or the scaffolding approach used. The structuring approach was associated with more accurate Active and Interactive participation, whereas problematizing elicited more Constructive engagement. These findings underscore the value of combining scaffolding approaches when designing LA- and LLM-based systems to effectively foster diagnostic reasoning.