Automated Feedback on Student-Generated UML and ER Diagrams Using Large Language Models

📄 arXiv: 2507.23470v1 📥 PDF

作者: Sebastian Gürtl, Gloria Schimetta, David Kerschbaumer, Michael Liut, Alexander Steinmaurer

分类: cs.HC, cs.AI

发布日期: 2025-07-31

备注: Learnersourcing: Student-generated Content @ Scale Workshop at L@S 2025

💡 一句话要点

DUET：利用大语言模型为学生生成的UML和ER图提供自动反馈

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: UML图 ER图 大语言模型 自动反馈 计算机教育

📋 核心要点

  1. 传统教学方法难以在大班教学中提供可扩展的、个性化的UML和ER图反馈，阻碍了学生的学习效率。
  2. DUET工具将UML和ER图转换为文本表示，利用大语言模型比较图的差异并生成结构化反馈，辅助学生学习。
  3. 通过访谈评估，DUET展现了可访问性和可扩展性等优势，同时也指出了可靠性和潜在滥用等局限性，为未来改进提供了方向。

📝 摘要（中文）

UML和ER图是计算机科学教育的基础，但由于需要抽象思维、上下文理解以及对语法和语义的掌握，学习者面临诸多挑战。传统教学方法难以提供可扩展的个性化反馈，尤其是在大型班级中。本文介绍DUET（Diagrammatic UML & ER Tutor），一个基于大语言模型的原型工具，它将参考图和学生提交的图转换为文本表示，并基于差异提供结构化反馈。DUET使用多阶段LLM流程来比较图并生成反思性反馈。此外，该工具为教育工作者提供分析见解，旨在促进自主学习并为教学策略提供信息。通过对六名参与者（包括两名教育工作者和四名助教）的半结构化访谈评估了DUET。他们发现了可访问性、可扩展性和学习支持等优势，以及可靠性和潜在滥用等局限性。参与者还提出了潜在的改进建议，例如批量上传功能和交互式澄清功能。DUET为将LLM集成到建模教育中提供了一个有希望的方向，并为未来的课堂集成和实证评估奠定了基础。

🔬 方法详解

问题定义：论文旨在解决计算机科学教育中，学生在学习UML和ER图时，由于缺乏有效的、个性化的反馈而导致的学习困难问题。现有方法，特别是传统教学方法，难以在大班教学中提供足够的支持，无法及时发现和纠正学生在图表设计中出现的错误和概念理解偏差。

核心思路：论文的核心思路是将UML和ER图转换为文本表示，然后利用大语言模型（LLM）强大的语义理解和推理能力，对学生提交的图表与参考图表进行比较分析，从而自动生成结构化的反馈。这种方法旨在提供可扩展、个性化的学习支持，帮助学生更好地掌握UML和ER图的设计原则。

技术框架：DUET工具采用多阶段LLM流程。首先，将参考图和学生提交的图转换为文本表示。然后，利用LLM比较这两个文本表示，识别差异。最后，LLM基于这些差异生成结构化的反馈，反馈内容包括错误类型、原因分析和改进建议。该工具还为教育工作者提供分析功能，帮助他们了解学生的学习情况。

关键创新：该论文的关键创新在于将大语言模型应用于UML和ER图的自动反馈生成。与传统的基于规则或模板的反馈系统相比，DUET能够更灵活、更智能地理解图表的语义，并生成更具针对性和解释性的反馈。这种方法能够更好地模拟人工辅导的效果，提高学生的学习效率。

关键设计：论文中没有详细描述具体的参数设置、损失函数或网络结构等技术细节。但是，可以推断，LLM的选择和训练是关键。选择具有强大语义理解和推理能力的LLM，并使用大量的UML和ER图数据进行训练，可以提高DUET的反馈质量。此外，如何将图表转换为文本表示，以及如何设计LLM的提示（prompt），也是影响DUET性能的重要因素。这些都是未来研究可以深入探索的方向。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

通过对六名参与者（包括两名教育工作者和四名助教）的半结构化访谈评估了DUET。参与者普遍认为DUET具有可访问性、可扩展性和学习支持等优势。他们也指出了可靠性和潜在滥用等局限性，并提出了批量上传功能和交互式澄清功能等改进建议。这些反馈为DUET的未来发展提供了宝贵的参考。

🎯 应用场景

DUET工具可应用于计算机科学教育领域，为学生提供UML和ER图设计的自动反馈，提高学习效率。该工具还可用于软件工程领域，辅助开发人员进行模型设计和验证，减少人工审查成本。未来，该研究可扩展到其他类型的图表和建模语言，并集成到在线学习平台和软件开发工具中。

📄 摘要（原文）

UML and ER diagrams are foundational in computer science education but come with challenges for learners due to the need for abstract thinking, contextual understanding, and mastery of both syntax and semantics. These complexities are difficult to address through traditional teaching methods, which often struggle to provide scalable, personalized feedback, especially in large classes. We introduce DUET (Diagrammatic UML & ER Tutor), a prototype of an LLM-based tool, which converts a reference diagram and a student-submitted diagram into a textual representation and provides structured feedback based on the differences. It uses a multi-stage LLM pipeline to compare diagrams and generate reflective feedback. Furthermore, the tool enables analytical insights for educators, aiming to foster self-directed learning and inform instructional strategies. We evaluated DUET through semi-structured interviews with six participants, including two educators and four teaching assistants. They identified strengths such as accessibility, scalability, and learning support alongside limitations, including reliability and potential misuse. Participants also suggested potential improvements, such as bulk upload functionality and interactive clarification features. DUET presents a promising direction for integrating LLMs into modeling education and offers a foundation for future classroom integration and empirical evaluation.