Sandpiper: Orchestrated AI-Annotation for Educational Discourse at Scale
作者: Daryl Hedley, Doug Pietrzak, Jorge Dias, Ian Burden, Bakhtawar Ahtisham, Zhuqian Zhou, Kirk Vanacore, Josh Marland, Rachel Slama, Justin Reich, Kenneth Koedinger, René Kizilcec
分类: cs.HC, cs.CL
发布日期: 2026-03-09
💡 一句话要点
Sandpiper：用于大规模教育对话的协同式AI标注系统
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI标注 教育对话 定性分析 大型语言模型 人机协作
📋 核心要点
- 传统教育研究中，对大规模对话数据进行定性分析耗时费力，成为研究瓶颈。
- Sandpiper系统通过整合交互式仪表板和LLM引擎，实现可扩展且严谨的分析。
- 该系统通过数据隐私保护、消除LLM幻觉和持续评估，提升AI辅助研究的可靠性。
📝 摘要（中文）
数字教育环境正扩展到复杂的人工智能和人类对话，为研究人员提供了大量数据，从而能够深入了解学习和教学过程。然而，传统的定性分析仍然是一项劳动密集型的瓶颈，严重限制了这项研究的规模。我们提出了Sandpiper，一个混合主动系统，旨在充当高容量会话数据和人类定性专业知识之间的桥梁。通过将交互式研究人员仪表板与代理式大型语言模型（LLM）引擎紧密结合，该平台能够在不牺牲方法严谨性的前提下实现可扩展的分析。Sandpiper通过实施上下文感知的自动化去标识化工作流程（由安全的大学托管基础设施支持以确保数据隐私）来解决人工智能在教育中应用的关键障碍。此外，该系统采用模式约束的编排来消除LLM幻觉，并强制严格遵守定性代码本。集成的评估引擎允许持续地将AI性能与人类标签进行基准测试，从而促进模型改进和验证的迭代方法。我们提出了一个用户研究，以评估该系统在提高研究效率、评分者间信度和研究人员对AI辅助定性工作流程的信任方面的有效性。
🔬 方法详解
问题定义：论文旨在解决教育领域大规模对话数据分析中，传统定性分析方法效率低下的问题。现有方法依赖人工标注，耗时费力，难以处理海量数据，阻碍了对学习和教学过程的深入理解。此外，直接使用LLM进行分析可能存在数据隐私泄露和产生幻觉的问题。
核心思路：Sandpiper的核心思路是构建一个混合主动系统，将研究人员的专业知识与LLM的自动化能力相结合，实现高效、可靠且可扩展的定性分析。通过人机协同，充分发挥各自的优势，弥补传统方法的不足。
技术框架：Sandpiper系统包含以下主要模块：1) 交互式研究人员仪表板：提供数据浏览、标注和分析的可视化界面。2) 代理式LLM引擎：利用LLM进行初步标注和分析，辅助研究人员。3) 上下文感知的自动化去标识化工作流程：确保数据隐私。4) 模式约束的编排：消除LLM幻觉，保证分析结果的准确性。5) 集成的评估引擎：持续评估AI性能，并与人工标注进行比较，迭代优化模型。
关键创新：Sandpiper的关键创新在于其混合主动的设计，以及针对教育领域数据特点的优化。它通过模式约束的编排和集成的评估引擎，有效解决了LLM在定性分析中可能出现的幻觉和不准确问题。此外，系统还集成了数据隐私保护机制，消除了研究人员的顾虑。
关键设计：论文中提到系统采用模式约束的编排来消除LLM幻觉，并强制严格遵守定性代码本，但未提供具体的参数设置、损失函数、网络结构等技术细节。这些细节可能在后续的研究中进一步公开。
🖼️ 关键图片
📊 实验亮点
论文提出了Sandpiper系统，但目前主要侧重于系统设计和架构，用户研究部分为未来工作，因此缺乏具体的实验结果和性能数据。论文提出将进行用户研究，以评估系统在提高研究效率、评分者间信度和研究人员对AI辅助定性工作流程的信任方面的有效性。具体的性能提升幅度未知。
🎯 应用场景
Sandpiper系统可广泛应用于教育研究领域，例如分析在线课程讨论、学生作业反馈等数据，从而深入了解学生的学习行为、教师的教学策略以及二者之间的互动模式。该系统能够帮助研究人员更高效地进行定性分析，发现有价值的教育规律，并为改进教学实践提供依据。未来，该系统有望推广到其他需要大规模定性分析的领域。
📄 摘要（原文）
Digital educational environments are expanding toward complex AI and human discourse, providing researchers with an abundance of data that offers deep insights into learning and instructional processes. However, traditional qualitative analysis remains a labor-intensive bottleneck, severely limiting the scale at which this research can be conducted. We present Sandpiper, a mixed-initiative system designed to serve as a bridge between high-volume conversational data and human qualitative expertise. By tightly coupling interactive researcher dashboards with agentic Large Language Model (LLM) engines, the platform enables scalable analysis without sacrificing methodological rigor. Sandpiper addresses critical barriers to AI adoption in education by implementing context-aware, automated de-identification workflows supported by secure, university-housed infrastructure to ensure data privacy. Furthermore, the system employs schema-constrained orchestration to eliminate LLM hallucinations and enforces strict adherence to qualitative codebooks. An integrated evaluations engine allows for the continuous benchmarking of AI performance against human labels, fostering an iterative approach to model refinement and validation. We propose a user study to evaluate the system's efficacy in improving research efficiency, inter-rater reliability, and researcher trust in AI-assisted qualitative workflows.