Judgment of Learning: A Human Ability Beyond Generative Artificial Intelligence

📄 arXiv: 2410.13392v3 📥 PDF

作者: Markus Huff, Elanur Ulakçı

分类: cs.CL

发布日期: 2024-10-17 (更新: 2025-06-06)

备注: 24 pages, 2 figures

期刊: Scientific Reports, 15(1), 35030 (2025)

DOI: 10.1038/s41598-025-22290-x

💡 一句话要点

揭示大型语言模型元认知局限：在学习判断任务中表现不如人类

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 元认知 学习判断 大型语言模型 记忆预测 人机交互

📋 核心要点

  1. 现有大型语言模型在语言任务中表现出色，但其元认知能力，特别是预测记忆表现的能力，尚未得到充分研究。
  2. 论文提出跨代理预测模型，对比人类和LLM在学习判断（JOL）任务中的表现，探究LLM是否具备类似人类的元认知能力。
  3. 实验结果表明，人类JOL能有效预测记忆表现，而GPT-3.5-turbo、GPT-4-turbo和GPT-4o等LLM在此任务中表现不佳。

📝 摘要（中文）

大型语言模型(LLMs)在各种基于语言的任务中越来越能模仿人类的认知。然而，它们在元认知方面的能力——特别是在预测记忆表现方面——仍未被探索。本文引入了一个跨代理预测模型，以评估基于ChatGPT的LLM是否与人类的学习判断(JOL)相一致，JOL是一种元认知测量，个体可以预测自己未来的记忆表现。我们测试了人类和LLM对句子对的记忆，其中一句是花园路径句——一种最初误导读者产生错误解释，然后需要重新分析的句子。通过操纵上下文的契合度（契合与不契合的句子），我们探究了内在线索（即相关性）如何影响LLM和人类的JOL。结果表明，虽然人类的JOL能够可靠地预测实际的记忆表现，但没有一个被测试的LLM（GPT-3.5-turbo、GPT-4-turbo和GPT-4o）表现出可比的预测准确性。这种差异的出现与句子出现在契合或不契合的上下文中无关。这些发现表明，尽管LLM在对象层面展示了建模人类认知的能力，但它们在元层面表现不佳，未能捕捉到个体记忆预测的变异性。通过识别这一缺点，我们的研究强调了进一步改进LLM自我监控能力的必要性，这可以提高它们在教育环境、个性化学习和人机交互中的效用。加强LLM的元认知表现可以减少对人工监督的依赖，为人工智能更自主、更无缝地集成到需要更深层次认知意识的任务中铺平道路。

🔬 方法详解

问题定义：论文旨在研究大型语言模型（LLM）是否具备与人类相似的元认知能力，具体而言，是预测自身记忆表现的能力（Judgment of Learning, JOL）。现有LLM在语言任务中表现出色，但缺乏对自身认知过程的监控和评估，这限制了其在需要深度认知理解的任务中的应用。

核心思路：论文的核心思路是通过对比人类和LLM在JOL任务中的表现，评估LLM的元认知能力。JOL任务要求个体预测自己未来对特定信息的记忆表现。通过分析LLM和人类在不同情境下的JOL差异，可以揭示LLM在元认知方面的局限性。选择花园路径句作为实验材料，旨在考察LLM和人类如何根据句子的难易程度调整JOL。

技术框架：论文采用跨代理预测模型，将人类和LLM作为独立的代理，让他们完成相同的JOL任务。任务流程如下：1) 向代理展示句子对，其中一句是花园路径句；2) 代理对未来记忆该句子对的能力进行预测（JOL）；3) 测试代理对句子对的记忆表现。通过比较人类和LLM的JOL与实际记忆表现之间的相关性，评估LLM的元认知能力。

关键创新：论文的关键创新在于首次将JOL任务应用于评估LLM的元认知能力。以往的研究主要关注LLM在对象层面的认知能力，而忽略了其在元层面的自我监控和评估能力。通过引入JOL任务，论文提供了一种新的方法来评估LLM的元认知能力，并揭示了LLM在这一方面的局限性。

关键设计：实验中，使用了花园路径句和非花园路径句作为实验材料，并操纵了上下文的契合度（fitting vs. unfitting）。上下文契合度是指句子对之间的语义相关性。通过操纵上下文契合度，可以考察LLM和人类如何根据上下文信息调整JOL。使用了GPT-3.5-turbo、GPT-4-turbo和GPT-4o等多个LLM进行实验，以评估不同LLM的元认知能力。

📊 实验亮点

实验结果表明，人类的JOL能够可靠地预测实际的记忆表现，而GPT-3.5-turbo、GPT-4-turbo和GPT-4o等LLM均未能表现出可比的预测准确性。无论句子出现在契合或不契合的上下文中，LLM的预测能力均显著低于人类。这表明LLM在元认知方面存在明显的局限性。

🎯 应用场景

该研究成果可应用于教育领域，帮助开发更智能的个性化学习系统。通过提升LLM的元认知能力，可以使其更好地理解学习者的认知状态，并提供更有效的学习指导。此外，该研究还有助于改善人机交互，使AI系统能够更好地理解人类的需求和意图，从而实现更自然、更高效的协作。

📄 摘要（原文）

Large language models (LLMs) increasingly mimic human cognition in various language-based tasks. However, their capacity for metacognition - particularly in predicting memory performance - remains unexplored. Here, we introduce a cross-agent prediction model to assess whether ChatGPT-based LLMs align with human judgments of learning (JOL), a metacognitive measure where individuals predict their own future memory performance. We tested humans and LLMs on pairs of sentences, one of which was a garden-path sentence - a sentence that initially misleads the reader toward an incorrect interpretation before requiring reanalysis. By manipulating contextual fit (fitting vs. unfitting sentences), we probed how intrinsic cues (i.e., relatedness) affect both LLM and human JOL. Our results revealed that while human JOL reliably predicted actual memory performance, none of the tested LLMs (GPT-3.5-turbo, GPT-4-turbo, and GPT-4o) demonstrated comparable predictive accuracy. This discrepancy emerged regardless of whether sentences appeared in fitting or unfitting contexts. These findings indicate that, despite LLMs' demonstrated capacity to model human cognition at the object-level, they struggle at the meta-level, failing to capture the variability in individual memory predictions. By identifying this shortcoming, our study underscores the need for further refinements in LLMs' self-monitoring abilities, which could enhance their utility in educational settings, personalized learning, and human-AI interactions. Strengthening LLMs' metacognitive performance may reduce the reliance on human oversight, paving the way for more autonomous and seamless integration of AI into tasks requiring deeper cognitive awareness.