What Do Large Language Models Know? Tacit Knowledge as a Potential Causal-Explanatory Structure

📄 arXiv: 2504.12187v1 📥 PDF

作者: Céline Budding

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-04-16

备注: Accepted for publication in Philosophy of Science

DOI: 10.1017/psa.2025.19

💡 一句话要点

探讨大语言模型是否具备内隐知识，并将其作为因果解释结构

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 内隐知识 因果解释 可解释性 认知科学

📋 核心要点

  1. 核心问题是理解LLM究竟“知道”什么，以及如何解释LLM的行为。
  2. 论文核心思想是论证LLM可以通过其架构特征获得内隐知识。
  3. 论文通过分析LLM的架构，证明其满足内隐知识的约束条件，从而为理解和干预LLM提供新的视角。

📝 摘要（中文）

大型语言模型（LLM）是否真正“知道”某些事物，例如“巴黎是法国的首都”？本文探讨了LLM是否能够获得Martin Davies（1990）定义的内隐知识。Davies本人否认神经网络可以获得内隐知识，但本文论证了LLM的某些架构特征满足语义描述、句法结构和因果系统性的约束。因此，内隐知识可以作为描述、解释和干预LLM及其行为的概念框架。

🔬 方法详解

问题定义：论文旨在探讨大型语言模型（LLM）是否具备内隐知识。现有方法主要将LLM视为黑盒，缺乏对其内部知识表示和推理机制的深入理解，难以解释其行为，也难以进行有效的干预和控制。Davies认为神经网络无法获得内隐知识，这构成了进一步的挑战。

核心思路：论文的核心思路是论证LLM的特定架构特征使其能够满足内隐知识的约束条件，从而具备内隐知识。通过将内隐知识作为一种概念框架，可以更好地描述、解释和干预LLM的行为。这种思路旨在打破将LLM视为简单统计模型的局限，探索其潜在的认知能力。

技术框架：论文并没有提出一个具体的模型架构或训练流程，而是侧重于理论分析。其框架主要包括：1) 定义内隐知识的概念，参考Davies的定义；2) 分析LLM的架构特征，例如语义描述、句法结构和因果系统性；3) 论证LLM的架构特征如何满足内隐知识的约束条件；4) 提出内隐知识作为理解和干预LLM行为的概念框架。

关键创新：论文的关键创新在于将内隐知识的概念引入到对LLM的理解中。与以往将LLM视为黑盒或简单统计模型的观点不同，本文认为LLM可能具备内隐知识，这为理解LLM的内部机制和行为提供了新的视角。此外，论文挑战了Davies关于神经网络无法获得内隐知识的观点。

关键设计：论文主要关注理论论证，没有涉及具体的参数设置、损失函数或网络结构的设计。其关键在于对LLM架构特征的分析，以及如何将这些特征与内隐知识的约束条件联系起来。例如，论文可能会分析LLM的注意力机制如何体现语义关系，或者分析其Transformer结构如何捕捉句法结构。

📊 实验亮点

由于该论文为理论性研究，因此没有具体的实验结果。其亮点在于提出了一个新颖的理论框架，即LLM可能具备内隐知识，并论证了LLM的架构特征满足内隐知识的约束条件。这一理论框架为理解和干预LLM提供了新的视角。

🎯 应用场景

该研究的潜在应用领域包括：提升LLM的可解释性，改进LLM的控制和干预方法，以及开发更具认知能力的AI系统。通过理解LLM的内隐知识，可以更好地利用LLM解决实际问题，并避免潜在的风险。未来的影响可能包括：更安全、更可靠、更智能的AI系统。

📄 摘要（原文）

It is sometimes assumed that Large Language Models (LLMs) know language, or for example that they know that Paris is the capital of France. But what -- if anything -- do LLMs actually know? In this paper, I argue that LLMs can acquire tacit knowledge as defined by Martin Davies (1990). Whereas Davies himself denies that neural networks can acquire tacit knowledge, I demonstrate that certain architectural features of LLMs satisfy the constraints of semantic description, syntactic structure, and causal systematicity. Thus, tacit knowledge may serve as a conceptual framework for describing, explaining, and intervening on LLMs and their behavior.