Conversational Education at Scale: A Multi-LLM Agent Workflow for Procedural Learning and Pedagogic Quality Assessment
作者: Jiahuan Pei, Fanghua Ye, Xin Sun, Wentao Deng, Koen Hindriks, Junxiao Wang
分类: cs.AI, cs.CL
发布日期: 2025-07-07 (更新: 2025-09-05)
备注: 14 pages, accepted by EMNLP 2025
💡 一句话要点
提出WikiHowAgent，利用多LLM智能体工作流实现可扩展的对话式程序学习与教学质量评估。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 多智能体系统 对话式学习 程序学习 教学质量评估 AI教育 虚拟教育 交互式学习
📋 核心要点
- 现有虚拟教育者和学习者缺乏可扩展性，难以利用大规模课程内容，且缺乏评估教学质量的有效框架。
- WikiHowAgent通过构建多智能体工作流，模拟师生交互对话，实现程序学习，并对教学质量进行评估。
- 实验结果验证了该工作流在不同场景下的有效性，并开源了数据集和代码，促进了相关研究。
📝 摘要（中文）
本文提出WikiHowAgent，一个利用大型语言模型（LLMs）的多智能体工作流，旨在模拟交互式教学对话，从而促进程序学习并评估教学质量。该工作流集成了教师和学习者智能体、交互管理器以及评估器。同时，构建了一个包含114,296条师生对话的数据集，这些对话基于17个领域和727个主题的14,287个教程。评估协议结合了计算指标、基于规则的指标以及人工判断对齐。实验结果表明，该工作流在各种设置中均有效，并提供了关于LLM在不同领域能力的见解。数据集和实现已完全开源。
🔬 方法详解
问题定义：现有虚拟教育系统在可扩展性、内容多样性以及教学质量评估方面存在不足。具体而言，它们难以处理大规模的课程内容，并且缺乏有效的框架来评估教学质量，限制了其在实际教育场景中的应用。
核心思路：本文的核心思路是利用多智能体系统模拟师生之间的交互式教学过程。通过构建教师和学习者智能体，并设计交互管理器来协调对话，从而实现程序学习。此外，引入评估器来评估教学质量，从而形成一个完整的教学闭环。
技术框架：WikiHowAgent包含四个主要模块：教师智能体、学习者智能体、交互管理器和评估器。教师智能体负责提供教学内容和指导，学习者智能体负责提出问题和学习，交互管理器负责协调师生之间的对话流程，评估器负责评估教学质量。整个流程模拟了真实的师生互动，从而实现有效的程序学习。
关键创新：该方法的主要创新在于构建了一个多智能体工作流，将LLM应用于模拟师生交互式教学。与传统的单智能体或静态教学方法相比，该方法能够更好地模拟真实的教学场景，并提供个性化的学习体验。此外，该方法还引入了教学质量评估器，可以对教学过程进行量化评估，从而为改进教学方法提供依据。
关键设计：教师智能体和学习者智能体均基于大型语言模型（LLM）构建，通过prompt工程来控制其行为。交互管理器使用规则和策略来协调师生之间的对话，例如控制对话轮数、话题切换等。评估器使用计算指标、基于规则的指标以及人工判断对齐来评估教学质量。具体参数设置和损失函数等细节在论文中未详细说明，可能使用了标准的LLM训练方法。
🖼️ 关键图片
📊 实验亮点
论文构建了一个包含114,296条师生对话的大规模数据集，并进行了实验验证。实验结果表明，WikiHowAgent在不同领域和主题下均表现出良好的教学效果。具体的性能数据和对比基线在摘要中未提及，但强调了该工作流在各种设置中的有效性，并提供了关于LLM在不同领域能力的见解。
🎯 应用场景
该研究成果可应用于在线教育平台、虚拟助手以及个性化学习系统。通过模拟师生互动，可以提供更具吸引力和有效性的学习体验。此外，教学质量评估器可以帮助教师改进教学方法，提高教学效果。该研究还有助于推动AI在教育领域的应用，促进教育资源的公平分配。
📄 摘要（原文）
Large language models (LLMs) have advanced virtual educators and learners, bridging NLP with AI4Education. Existing work often lacks scalability and fails to leverage diverse, large-scale course content, with limited frameworks for assessing pedagogic quality. To this end, we propose WikiHowAgent, a multi-agent workflow leveraging LLMs to simulate interactive teaching-learning conversations. It integrates teacher and learner agents, an interaction manager, and an evaluator to facilitate procedural learning and assess pedagogic quality. We introduce a dataset of 114,296 teacher-learner conversations grounded in 14,287 tutorials across 17 domains and 727 topics. Our evaluation protocol combines computational and rubric-based metrics with human judgment alignment. Results demonstrate the workflow's effectiveness in diverse setups, offering insights into LLM capabilities across domains. Our datasets and implementations are fully open-sourced.