(AI peers) are people learning from the same standpoint: Perception of AI characters in a Collaborative Science Investigation

📄 arXiv: 2506.06165v1 📥 PDF

作者: Eunhye Grace Ko, Soo Hyoung Joo

分类: cs.HC, cs.AI

发布日期: 2025-06-06

备注: 14 pages

💡 一句话要点

通过AI角色提升协作科学调查中的学习效果

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: AI生成角色 情境基础评估 社交存在感 学习有效性 信任 教育技术 个性化学习

📋 核心要点

  1. 现有的学习和评估方法未能有效连接课堂活动与个性化学习，导致学习效果不佳。
  2. 论文提出通过情境基础评估引入AI生成角色，模拟真实社交互动，提升学习者的能力评估与发展。
  3. 研究结果表明，学习者的信任感增强了与AI角色的社交存在感，进而提高了学习的有效性。

📝 摘要（中文）

随着21世纪需求的复杂性，教育方法不断演变以培养复杂能力，但课堂学习与个性化学习之间仍存在差距。为此，研究探索了AI生成角色在学习与评估中的应用，尤其是情境基础评估（SBA），该方法通过引入模拟代理，提供真实的社交互动背景，促进能力的发展。本文通过混合方法研究了学习者对AI角色作为导师和团队成员的感知，分析了56名高中生在信任、社交存在感和有效性方面的Likert量表反应，发现信任影响社交存在感，进而提升感知有效性。定性分析进一步揭示了促进信任的因素，如材料可信度和学习目标的一致性，以及社交存在感在协作背景中的重要作用。

🔬 方法详解

问题定义：本研究旨在解决传统学习与评估方法中存在的课堂活动与个性化学习之间的脱节问题，现有方法往往无法有效促进学习者的能力发展。

核心思路：论文提出通过情境基础评估（SBA）引入AI生成角色，创造真实的社交互动环境，以增强学习者的参与感和信任感，从而提升学习效果。

技术框架：整体研究框架包括量化分析和定性分析两个部分，量化部分使用Likert量表评估信任、社交存在感和有效性，定性部分通过访谈分析信任的影响因素。

关键创新：本研究的创新在于将AI生成角色应用于情境基础评估中，强调了信任与社交存在感之间的关系，提供了新的视角来理解AI在教育中的作用。

关键设计：在量化分析中，使用PLS-SEM方法分析信任、社交存在感与学习有效性之间的关系，定性分析则关注材料的可信度和学习目标的一致性等因素。

📊 实验亮点

实验结果显示，学习者的信任感显著增强了与AI角色的社交存在感，进而提升了学习的有效性。具体而言，信任与社交存在感之间的正相关关系为0.65，社交存在感与学习有效性之间的相关关系为0.72，表明AI角色在学习中的重要性。

🎯 应用场景

该研究的潜在应用领域包括教育技术、在线学习平台和智能辅导系统。通过引入AI角色，教育者可以创建更具互动性和个性化的学习环境，从而提升学习者的参与度和学习效果，未来可能对教育模式的转变产生深远影响。

📄 摘要（原文）

While the complexity of 21st-century demands has promoted pedagogical approaches to foster complex competencies, a persistent gap remains between in-class learning activities and individualized learning or assessment practices. To address this, studies have explored the use of AI-generated characters in learning and assessment. One attempt is scenario-based assessment (SBA), a technique that not only measures but also fosters the development of competencies throughout the assessment process. SBA introduces simulated agents to provide an authentic social-interactional context, allowing for the assessment of competency-based constructs while mitigating the unpredictability of real-life interactions. Recent advancements in multimodal AI, such as text-to-video technology, allow these agents to be enhanced into AI-generated characters. This mixed-method study investigates how learners perceive AI characters taking the role of mentor and teammates in an SBA mirroring the context of a collaborative science investigation. Specifically, we examined the Likert scale responses of 56 high schoolers regarding trust, social presence, and effectiveness. We analyzed the relationships between these factors and their impact on the intention to adopt AI characters through PLS-SEM. Our findings indicated that learners' trust shaped their sense of social presence with the AI characters, enhancing perceived effectiveness. Qualitative analysis further highlighted factors that foster trust, such as material credibility and alignment with learning goals, as well as the pivotal role of social presence in creating a collaborative context. This paper was accepted as an full paper for AIED 2025.