Cognitive networks highlight differences and similarities in the STEM mindsets of human and LLM-simulated trainees, experts and academics

📄 arXiv: 2502.19529v1 📥 PDF

作者: Edith Haim, Lars van den Bergh, Cynthia S. Q. Siew, Yoed N. Kenett, Daniele Marinazzo, Massimo Stella

分类: cs.CL, cs.AI

发布日期: 2025-02-26

备注: Keywords: cognitive network science; mindset measurement; associative knowledge; artificial intelligence; simulated participants

💡 一句话要点

利用认知网络揭示人类与LLM在STEM思维模式上的异同

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 认知网络 STEM教育 思维模式 大型语言模型 GPT-3.5 行为形式心智网络 聚类系数

📋 核心要点

  1. 现有方法难以量化个体对STEM学科的认知和情感方式，阻碍了对STEM思维模式的深入理解。
  2. 本研究利用行为形式心智网络（BFMNs）分析人类和GPT-3.5在STEM概念上的关联和感知方式。
  3. 实验结果表明，人类专家在STEM概念整合方面优于GPT-3.5，且人类和GPT对数学的看法较为积极。

📝 摘要（中文）

本研究使用行为形式心智网络（BFMNs）来研究STEM领域的思维模式，即个体（包括大型语言模型）概念化这些学科的方式。研究对象包括177名人类参与者和由GPT-3.5模拟的177名人工个体。人类参与者被分为三组：受训者、专家和学者，以比较专业水平对思维模式的影响。结果表明，人类的BFMNs比GPT-3.5表现出显著更高的聚类系数，表明人类在回忆STEM概念时，思维模式倾向于形成和闭合概念关联的三元组。特别是人类专家表现出强大的聚类系数，反映了STEM概念更好地融入他们的认知网络。相比之下，GPT-3.5产生的思维模式较为稀疏。此外，人类和GPT的思维模式都以中性或积极的方式构建数学，这与其他研究中采样的高中生、研究人员和其他大型语言模型不同。这项研究有助于理解思维模式结构如何提供关于记忆结构和机器局限性的认知见解。

🔬 方法详解

问题定义：论文旨在理解人类和大型语言模型（LLM）在STEM（科学、技术、工程和数学）领域的思维模式差异。现有方法缺乏有效量化个体对STEM学科的认知和情感方式的工具，难以深入理解不同专业水平（如受训者、专家、学者）个体之间的思维模式差异，以及LLM在模拟人类思维方面的局限性。

核心思路：论文的核心思路是利用行为形式心智网络（BFMNs）来构建个体在STEM领域的认知网络，通过分析网络的结构特征（如聚类系数）来量化和比较不同个体（包括人类和LLM）的思维模式。BFMNs能够捕捉个体在回忆STEM概念时，概念之间的关联强度，从而反映其思维模式的特点。

技术框架：整体框架包括以下几个步骤：1) 数据采集：收集人类参与者（受训者、专家、学者）和GPT-3.5对STEM概念的关联数据。2) 网络构建：基于关联数据构建BFMNs，节点代表STEM概念，边代表概念之间的关联强度。3) 网络分析：计算BFMNs的聚类系数等网络特征，用于量化思维模式的特点。4) 比较分析：比较不同个体（人类和GPT-3.5）的BFMNs特征，分析其思维模式的差异。

关键创新：论文的关键创新在于将BFMNs应用于分析人类和LLM在STEM领域的思维模式。与传统的问卷调查或访谈方法相比，BFMNs能够更客观地量化个体在STEM概念上的关联，从而更深入地理解其思维模式。此外，论文首次比较了人类专家和LLM在STEM思维模式上的差异，为理解LLM的局限性提供了新的视角。

关键设计：论文的关键设计包括：1) 使用GPT-3.5模拟人工个体，并与人类参与者进行对比。2) 将人类参与者分为受训者、专家和学者三组，以研究专业水平对思维模式的影响。3) 选择聚类系数作为BFMNs的关键特征，用于量化思维模式的整合程度。具体的参数设置和网络结构等技术细节在论文中未详细描述，属于未知信息。

📊 实验亮点

实验结果表明，人类的BFMNs比GPT-3.5表现出显著更高的聚类系数，表明人类在回忆STEM概念时，思维模式倾向于形成和闭合概念关联的三元组。特别是人类专家表现出强大的聚类系数，反映了STEM概念更好地融入他们的认知网络。此外，人类和GPT的思维模式都以中性或积极的方式构建数学，这与其他研究中采样的高中生、研究人员和其他大型语言模型不同。

🎯 应用场景

该研究成果可应用于教育领域，帮助教师了解学生对STEM概念的理解程度，并根据学生的思维模式调整教学策略。此外，该研究还可以用于评估LLM在模拟人类思维方面的能力，为开发更智能的AI系统提供指导。未来，该方法或可用于分析其他领域的思维模式，例如艺术、人文等。

📄 摘要（原文）

Understanding attitudes towards STEM means quantifying the cognitive and emotional ways in which individuals, and potentially large language models too, conceptualise such subjects. This study uses behavioural forma mentis networks (BFMNs) to investigate the STEM-focused mindset, i.e. ways of associating and perceiving ideas, of 177 human participants and 177 artificial humans simulated by GPT-3.5. Participants were split in 3 groups - trainees, experts and academics - to compare the influence of expertise level on their mindset. The results revealed that human forma mentis networks exhibited significantly higher clustering coefficients compared to GPT-3.5, indicating that human mindsets displayed a tendency to form and close triads of conceptual associations while recollecting STEM ideas. Human experts, in particular, demonstrated robust clustering coefficients, reflecting better integration of STEM concepts into their cognitive networks. In contrast, GPT-3.5 produced sparser mindsets. Furthermore, both human and GPT mindsets framed mathematics in neutral or positive terms, differently from STEM high schoolers, researchers and other large language models sampled in other works. This research contributes to understanding how mindset structure can provide cognitive insights about memory structure and machine limitations.