LLMs model how humans induce logically structured rules
作者: Alyssa Loo, Ellie Pavlick, Roman Feiman
分类: cs.AI
发布日期: 2025-07-05
💡 一句话要点
利用大型语言模型模拟人类逻辑规则归纳能力，媲美贝叶斯概率语言模型。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 逻辑推理 规则归纳 认知建模 贝叶斯概率语言 人工智能 认知科学
📋 核心要点
- 现有认知模型在解释人类抽象认知功能（如语言和逻辑）方面存在局限性，特别是规则归纳能力。
- 该研究利用大型语言模型（LLM）模拟人类逻辑规则归纳过程，探索LLM是否能作为新的认知模型。
- 实验结果表明，LLM在拟合人类行为方面至少与贝叶斯概率语言模型（pLoT）相当，并提出了不同的规则推断方式。
📝 摘要（中文）
认知科学的核心目标是为心智结构及其发展提供计算上明确的解释：认知的基本表征构建块是什么？这些基元通过什么规则组合？这些基元和规则最初从何而来？一个长期存在的争论涉及人工神经网络作为计算模型是否足以回答这些问题，特别是在与抽象认知功能（如语言和逻辑）相关的领域。本文认为，神经网络的最新进展——特别是大型语言模型（LLM）的出现——代表了这场辩论中的一个重要转变。我们在一项用于研究逻辑概念规则归纳的现有实验范式中测试了各种LLM。在四个实验中，我们发现了趋同的经验证据，表明LLM至少与实现贝叶斯概率语言（pLoT）的模型一样适合人类行为，而pLoT一直是同一任务中人类行为的最佳计算模型。此外，我们表明LLM对为了完成任务而推断和部署的规则的性质做出了截然不同的预测，表明LLM不太可能仅仅是pLoT解决方案的实现。基于这些结果，我们认为LLM可能实例化了一种新的理论解释，解释了人类逻辑概念所必需的原始表征和计算，认知科学未来的工作应该参与其中。
🔬 方法详解
问题定义：该论文旨在研究大型语言模型（LLM）是否能够模拟人类在逻辑规则归纳任务中的行为，并挑战现有认知模型（如贝叶斯概率语言模型pLoT）在解释人类抽象认知功能方面的局限性。现有方法，特别是pLoT，虽然在一定程度上能够模拟人类行为，但可能无法完全捕捉人类认知的复杂性和灵活性。
核心思路：核心思路是利用LLM强大的语言建模能力，将其应用于逻辑规则归纳任务，并将其行为与人类行为以及pLoT模型的行为进行比较。通过观察LLM在任务中的表现，研究人员试图揭示LLM是否能够学习和应用逻辑规则，以及其学习和应用规则的方式与人类有何异同。这种方法旨在探索LLM作为一种新的认知模型的潜力，并为理解人类认知提供新的视角。
技术框架：该研究采用了一种基于现有实验范式的评估框架，该范式专门用于研究人类对逻辑概念规则的归纳能力。研究人员首先选择了一系列LLM作为研究对象，然后在该实验范式下对这些LLM进行测试。LLM的输出被用来推断其学习到的规则，并与人类行为数据以及pLoT模型的预测进行比较。通过这种比较，研究人员评估了LLM在模拟人类逻辑规则归纳方面的能力。
关键创新：该研究的关键创新在于将LLM应用于认知建模领域，并将其作为一种新的认知模型进行评估。与传统的认知模型（如pLoT）相比，LLM具有更强的学习能力和泛化能力，能够从大量数据中学习复杂的模式和关系。此外，LLM还能够生成自然语言形式的规则，这使得研究人员能够更直观地理解LLM的学习过程和推理方式。
关键设计：实验设计采用了四个不同的实验，这些实验都基于相同的逻辑规则归纳范式，但具有不同的具体设置和挑战。这些实验旨在测试LLM在不同情况下的规则归纳能力，并评估其泛化能力和鲁棒性。研究人员还对LLM的输出进行了详细的分析，以了解其学习到的规则的性质和结构。此外，研究人员还比较了LLM、人类和pLoT模型在任务中的表现，以评估LLM作为认知模型的优劣。
🖼️ 关键图片
📊 实验亮点
实验结果表明，LLM在逻辑规则归纳任务中表现出色，至少与贝叶斯概率语言模型（pLoT）相当，后者是该任务中人类行为的最佳计算模型。更重要的是，LLM对规则的推断方式与pLoT存在显著差异，表明LLM并非简单地实现了pLoT的解决方案，而是可能代表了一种新的认知模型。
🎯 应用场景
该研究成果可应用于认知科学、人工智能和人机交互等领域。通过理解LLM如何模拟人类逻辑推理，可以改进AI系统的推理能力，使其更接近人类水平。此外，该研究还有助于开发更自然、更智能的人机交互界面，提升用户体验。未来，该研究或将推动通用人工智能的发展。
📄 摘要（原文）
A central goal of cognitive science is to provide a computationally explicit account of both the structure of the mind and its development: what are the primitive representational building blocks of cognition, what are the rules via which those primitives combine, and where do these primitives and rules come from in the first place? A long-standing debate concerns the adequacy of artificial neural networks as computational models that can answer these questions, in particular in domains related to abstract cognitive function, such as language and logic. This paper argues that recent advances in neural networks -- specifically, the advent of large language models (LLMs) -- represent an important shift in this debate. We test a variety of LLMs on an existing experimental paradigm used for studying the induction of rules formulated over logical concepts. Across four experiments, we find converging empirical evidence that LLMs provide at least as good a fit to human behavior as models that implement a Bayesian probablistic language of thought (pLoT), which have been the best computational models of human behavior on the same task. Moreover, we show that the LLMs make qualitatively different predictions about the nature of the rules that are inferred and deployed in order to complete the task, indicating that the LLM is unlikely to be a mere implementation of the pLoT solution. Based on these results, we argue that LLMs may instantiate a novel theoretical account of the primitive representations and computations necessary to explain human logical concepts, with which future work in cognitive science should engage.