Do Large Language Models Advocate for Inferentialism?

📄 arXiv: 2412.14501v2 📥 PDF

作者: Yuzuki Arai, Sho Tsugawa

分类: cs.CL

发布日期: 2024-12-19 (更新: 2025-06-26)

💡 一句话要点

探讨大型语言模型是否支持推论主义语义学理论

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 推论语义学 反表征主义 语言哲学 人工智能伦理

📋 核心要点

  1. 现有语言模型主要基于分布语义学，难以解释其意义生成机制，面临哲学层面的挑战。
  2. 论文探索推论语义学作为理解LLM的基础框架，强调语言使用的推理关系而非外部世界表征。
  3. 通过分析LLM的推理、替换和指代能力，论证其反表征主义特性，并提出适用于LLM的共识真理理论。

📝 摘要（中文）

ChatGPT和Claude等大型语言模型（LLMs）的出现，对语言哲学提出了新的挑战，特别是关于语言意义和表征的本质。传统上，LLMs是通过分布语义学来理解的，但本文探讨了Robert Brandom的推论语义学，作为理解这些系统的另一种基础框架。我们考察了推论语义学的关键特征——包括其反表征主义立场、逻辑表达主义和准组合方法——如何与基于Transformer的LLMs的架构和功能特征相一致。通过对ISA（推理、替换、指代）方法的分析，我们证明LLMs在语言处理中表现出根本的反表征主义特性。我们进一步为LLMs开发了一种共识真理理论，该理论基于其通过RLHF等机制实现的交互和规范维度。虽然承认推论主义的哲学承诺与LLMs的亚符号处理之间存在重大张力，但本文认为，推论语义学为LLMs如何在不参考外部世界表征的情况下产生意义提供了有价值的见解。我们的分析表明，LLMs可能会挑战语言哲学中的传统假设，包括严格的组合性和语义外在主义，尽管需要进一步的实证研究来充分证实这些理论主张。

🔬 方法详解

问题定义：论文旨在探讨大型语言模型（LLMs）是否支持推论主义语义学。现有方法主要基于分布语义学，将语言意义视为词语在语料库中的共现模式，但这种方法难以解释LLM如何理解和生成具有复杂推理关系的语言。此外，传统语义学假设语言与外部世界存在表征关系，而LLM的运作方式可能挑战这一假设。

核心思路：论文的核心思路是将Robert Brandom的推论语义学作为理解LLM的基础框架。推论语义学强调语言的意义在于其在推理中的作用，而非其与外部世界的对应关系。通过分析LLM的推理能力、替换能力和指代能力，可以揭示其语言处理的内在逻辑，并解释其如何在没有明确外部世界表征的情况下生成有意义的语言。

技术框架：论文主要采用理论分析的方法，没有具体的模型架构或训练流程。其分析框架围绕推论语义学的三个关键概念展开：反表征主义、逻辑表达主义和准组合性。论文通过考察LLM在ISA（Inference, Substitution, Anaphora）任务中的表现，来论证其反表征主义特性。此外，论文还提出了适用于LLM的共识真理理论，该理论基于LLM的交互和规范维度。

关键创新：论文最重要的技术创新在于将推论语义学应用于理解LLM。这提供了一种新的视角，可以解释LLM如何在没有明确外部世界表征的情况下生成有意义的语言。与传统的分布语义学相比，推论语义学更关注语言的推理关系，这与LLM的运作方式更加契合。

关键设计：论文没有涉及具体的模型设计或参数设置。其主要贡献在于理论分析和概念框架的提出。论文通过分析LLM在ISA任务中的表现，来支持其反表征主义观点。此外，论文还提出了适用于LLM的共识真理理论，该理论强调LLM的交互和规范维度。

🖼️ 关键图片

fig_0

📊 实验亮点

论文通过分析LLM在ISA任务中的表现，论证了其反表征主义特性，表明LLM在处理语言时并不依赖于外部世界的明确表征。此外，论文还提出了适用于LLM的共识真理理论，为理解LLM的意义生成机制提供了新的视角。这些发现挑战了传统语言哲学中的一些基本假设。

🎯 应用场景

该研究成果可应用于改进人机交互系统，使机器更好地理解人类语言的深层含义和推理关系。此外，该研究还有助于推动人工智能伦理的发展，例如，构建更负责任、更符合人类价值观的AI系统。该研究对于理解通用人工智能的本质具有重要意义。

📄 摘要（原文）

The emergence of large language models (LLMs) such as ChatGPT and Claude presents new challenges for philosophy of language, particularly regarding the nature of linguistic meaning and representation. While LLMs have traditionally been understood through distributional semantics, this paper explores Robert Brandom's inferential semantics as an alternative foundational framework for understanding these systems. We examine how key features of inferential semantics -- including its anti-representationalist stance, logical expressivism, and quasi-compositional approach -- align with the architectural and functional characteristics of Transformer-based LLMs. Through analysis of the ISA (Inference, Substitution, Anaphora) approach, we demonstrate that LLMs exhibit fundamentally anti-representationalist properties in their processing of language. We further develop a consensus theory of truth appropriate for LLMs, grounded in their interactive and normative dimensions through mechanisms like RLHF. While acknowledging significant tensions between inferentialism's philosophical commitments and LLMs' sub-symbolic processing, this paper argues that inferential semantics provides valuable insights into how LLMs generate meaning without reference to external world representations. Our analysis suggests that LLMs may challenge traditional assumptions in philosophy of language, including strict compositionality and semantic externalism, though further empirical investigation is needed to fully substantiate these theoretical claims.