Epistemological Fault Lines Between Human and Artificial Intelligence
作者: Walter Quattrociocchi, Valerio Capraro, Matjaž Perc
分类: cs.CY, cs.CL, cs.HC
发布日期: 2025-12-22
备注: 16 pages, 1 figure
💡 一句话要点
揭示人类与大型语言模型在认知上的根本差异，为AI治理提供理论基础
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 认知差异 人工智能伦理 AI治理 认知错位
📋 核心要点
- 现有大型语言模型（LLMs）在表面上与人类认知对齐，但其内在认知机制与人类存在根本差异，需要深入研究。
- 论文核心思想是LLMs本质上是随机模式补全系统，而非具有信念和世界模型的认知主体，通过分析人类和AI认知流程的差异来论证。
- 论文识别了七个关键的认知断层，并提出了“认知错位”的概念，为理解和治理生成式AI提供了新的视角。
📝 摘要（中文）
大型语言模型（LLMs）被广泛认为是人工智能，但其认知模式与人类认知存在显著差异。本文指出，人类与机器输出的表面一致性掩盖了判断产生方式上更深层次的结构性不匹配。通过追溯从符号AI和信息过滤系统到大规模生成Transformer的历史转变，我们认为LLMs不是认知主体，而是随机模式补全系统，可以形式化地描述为语言转换的高维图上的游走，而不是形成信念或世界模型的系统。通过系统地映射人类和人工智能的认知流程，我们识别了七个认知断层：在基础、解析、经验、动机、因果推理、元认知和价值观方面的差异。我们将由此产生的状态称为“认知错位”（Epistemia）：一种语言上的合理性取代了认知评估的结构性情境，产生了一种无需判断就能获得知识的感觉。最后，我们概述了在日益围绕生成式AI组织的社会中，评估、治理和认知素养的影响。
🔬 方法详解
问题定义：论文旨在揭示大型语言模型（LLMs）与人类认知之间的根本差异。现有方法通常关注LLMs在特定任务上的性能，而忽略了其认知机制与人类的本质区别。这种忽略可能导致对LLMs能力的误判，并带来潜在的社会风险。
核心思路：论文的核心思路是将LLMs视为随机模式补全系统，而非具有信念和世界模型的认知主体。LLMs通过学习大量文本数据中的统计规律来生成文本，其生成过程可以被描述为在高维语言转换图上的游走。这种模式补全的机制与人类基于经验、推理和价值观的认知过程存在根本差异。
技术框架：论文没有提出具体的算法或模型，而是采用了一种概念性的框架，通过比较人类和AI的认知流程来识别差异。该框架包括以下几个关键要素：基础（Grounding）、解析（Parsing）、经验（Experience）、动机（Motivation）、因果推理（Causal Reasoning）、元认知（Metacognition）和价值观（Value）。论文通过分析LLMs在这些要素上的表现，揭示其与人类认知的差异。
关键创新：论文最重要的创新点在于提出了“认知错位”（Epistemia）的概念，即语言上的合理性取代了认知评估的结构性情境，产生了一种无需判断就能获得知识的感觉。这个概念有助于理解LLMs在生成看似合理但实际上缺乏真实理解的文本时的潜在风险。
关键设计：论文没有涉及具体的参数设置或网络结构。其关键设计在于对人类和AI认知流程的系统性比较，以及对七个认知断层的识别和分析。这些分析为理解LLMs的局限性以及制定合理的AI治理策略提供了理论基础。
🖼️ 关键图片
📊 实验亮点
论文通过系统性地分析，揭示了LLMs在基础、解析、经验、动机、因果推理、元认知和价值观等七个关键认知要素上与人类的根本差异。这些差异表明，即使LLMs在某些任务上表现出色，其认知能力仍然远低于人类，需要谨慎对待。
🎯 应用场景
该研究成果可应用于AI伦理、AI安全和AI治理等领域。通过理解LLMs与人类认知的差异，可以更好地评估其潜在风险，制定更合理的监管措施，并提高公众对AI的认知素养。此外，该研究还可以指导未来AI系统的设计，使其更符合人类的价值观和认知模式。
📄 摘要（原文）
Large language models (LLMs) are widely described as artificial intelligence, yet their epistemic profile diverges sharply from human cognition. Here we show that the apparent alignment between human and machine outputs conceals a deeper structural mismatch in how judgments are produced. Tracing the historical shift from symbolic AI and information filtering systems to large-scale generative transformers, we argue that LLMs are not epistemic agents but stochastic pattern-completion systems, formally describable as walks on high-dimensional graphs of linguistic transitions rather than as systems that form beliefs or models of the world. By systematically mapping human and artificial epistemic pipelines, we identify seven epistemic fault lines, divergences in grounding, parsing, experience, motivation, causal reasoning, metacognition, and value. We call the resulting condition Epistemia: a structural situation in which linguistic plausibility substitutes for epistemic evaluation, producing the feeling of knowing without the labor of judgment. We conclude by outlining consequences for evaluation, governance, and epistemic literacy in societies increasingly organized around generative AI.