I don't trust you (anymore)! -- The effect of students' LLM use on Lecturer-Student-Trust in Higher Education

📄 arXiv: 2406.14871v2 📥 PDF

作者: Simon Kloker, Matthew Bazanya, Twaha Kateete

分类: cs.CY, cs.AI, cs.ET, cs.HC, cs.LG

发布日期: 2024-06-21 (更新: 2025-02-18)

期刊: The Uganda Higher Education Review, 12(1), 74-90 (2024)

DOI: 10.58653/nche.v12i1.6

💡 一句话要点

研究LLM使用对师生信任的影响，强调透明度以促进团队合作

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 师生信任 透明度 高等教育 结构方程模型

📋 核心要点

  1. 现有方法难以区分学生真实输入和LLM生成内容，对师生信任关系构成挑战。
  2. 研究强调学生使用LLM的透明度对建立师生信任至关重要，而非LLM使用的公平性。
  3. 通过定量调查和结构方程模型分析，验证了透明度对团队信任的积极影响。

📝 摘要（中文）

信任在师生合作中至关重要，涵盖教学和研究。大型语言模型（LLM）如OpenAI的ChatGPT因其成本效益和高质量结果而被大学生迅速采用。然而，区分学生真实输入和LLM生成的内容对教师构成挑战，危及师生间的信任关系，可能影响大学的合作研究。尽管已尝试制定学生使用LLM的指南，但仍缺乏对师生互利的明确框架。本研究探讨了学生使用LLM如何影响信息和程序公正，进而影响团队信任和预期团队表现。采用定量结构方程模型（PLS-SEM）分析调查数据，结果表明教师更关注学生使用LLM的透明度，而非公平性，透明度对团队信任产生显著的积极影响。本研究为在全球范围内整合和规范教育中的LLM及后续模型做出了贡献，并建议指南应支持LLM的使用，同时加强师生合作的透明度，以促进团队信任和表现。该研究为制定伦理和透明的LLM使用政策提供了有价值的见解，以确保协作学习环境的有效性。

🔬 方法详解

问题定义：论文旨在研究大学生使用大型语言模型（LLM）对师生信任关系的影响。现有方法的主要痛点在于，教师难以区分学生提交的作业或研究成果中哪些是学生自己完成的，哪些是由LLM生成的，这导致教师对学生的信任度下降，进而影响师生合作。

核心思路：论文的核心思路是，与其关注学生是否使用LLM，不如关注学生在使用LLM时的透明度。如果学生能够清晰地说明哪些部分使用了LLM，以及LLM在其中扮演的角色，那么教师更容易接受这种使用方式，从而维持甚至提升师生之间的信任。

技术框架：论文采用定量研究方法，具体来说是基于构念的调查问卷。问卷涉及信息公正、程序公正、团队信任和预期团队表现等多个构念。通过结构方程模型（PLS-SEM）分析这些构念之间的关系，从而验证学生使用LLM的透明度对团队信任的影响。

关键创新：论文最重要的技术创新点在于，它将研究重点从LLM使用的“公平性”转移到“透明度”上。以往的研究可能更多地关注LLM是否会造成不公平竞争，而本研究则认为，只要学生能够透明地说明LLM的使用情况，就可以有效地缓解信任危机。

关键设计：论文的关键设计在于调查问卷的设计和结构方程模型的构建。问卷需要能够准确地测量学生对信息公正、程序公正、团队信任和预期团队表现的感知。结构方程模型需要能够有效地捕捉这些构念之间的复杂关系，并控制潜在的混淆变量。

📊 实验亮点

研究结果表明，教师对学生使用LLM的透明度比公平性更关注，且透明度对团队信任有显著的积极影响。基于Ndejje大学23名有效受访者的调查数据，通过结构方程模型验证了这一结论，为制定相关政策提供了依据。

🎯 应用场景

该研究成果可应用于高等教育领域，帮助高校制定更合理的LLM使用规范。通过强调透明度，可以促进师生之间的信任，提高协作效率，并为未来的AI辅助教育提供理论指导。此外，该研究也对其他依赖信任关系的合作场景具有借鉴意义。

📄 摘要（原文）

Trust plays a pivotal role in Lecturer-Student-Collaboration, encompassing teaching and research aspects. The advent of Large Language Models (LLMs) in platforms like Open AI's ChatGPT, coupled with their cost-effectiveness and high-quality results, has led to their rapid adoption among university students. However, discerning genuine student input from LLM-generated output poses a challenge for lecturers. This dilemma jeopardizes the trust relationship between lecturers and students, potentially impacting university downstream activities, particularly collaborative research initiatives. Despite attempts to establish guidelines for student LLM use, a clear framework mutually beneficial for lecturers and students in higher education remains elusive. This study addresses the research question: How does the use of LLMs by students impact Informational and Procedural Justice, influencing Team Trust and Expected Team Performance? Methodically, we applied a quantitative construct-based survey, evaluated using techniques of Structural Equation Modelling (PLS- SEM) to examine potential relationships among these constructs. Our findings based on 23 valid respondents from Ndejje University indicate that lecturers are less concerned about the fairness of LLM use per se but are more focused on the transparency of student utilization, which significantly influences Team Trust positively. This research contributes to the global discourse on integrating and regulating LLMs and subsequent models in education. We propose that guidelines should support LLM use while enforcing transparency in Lecturer-Student- Collaboration to foster Team Trust and Performance. The study contributes valuable insights for shaping policies enabling ethical and transparent LLMs usage in education to ensure effectiveness of collaborative learning environments.