Propositional Interpretability in Artificial Intelligence

📄 arXiv: 2501.15740v1 📥 PDF

作者: David J. Chalmers

分类: cs.AI

发布日期: 2025-01-27

💡 一句话要点

提出命题可解释性，以理解AI系统内部机制与行为

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 人工智能 可解释性 命题态度 机械可解释性 心理语义学

📋 核心要点

  1. 现有AI可解释性方法难以捕捉系统内部的信念、欲望等命题态度，限制了对AI行为的深入理解。
  2. 论文提出命题可解释性，通过分析AI系统中的命题态度来解释其行为，类似于理解人类的方式。
  3. 论文探讨了现有可解释性方法和哲学方法在实现命题可解释性方面的优缺点，并提出了思想记录的挑战。

📝 摘要（中文）

机械可解释性旨在通过内部机制解释AI系统的行为。本文分析了该方法的一些方面，提出了具体的挑战，并评估了目前的进展。本文强调了命题可解释性的重要性，即根据命题态度（例如，对命题的信念、欲望或主观概率，例如“外面很热”这一命题）来解释系统的机制和行为。命题态度是我们解释人类行为的核心方式，也可能在AI中发挥核心作用。一个核心挑战是“思想记录”，即创建能够记录AI系统中所有相关命题态度的系统。本文考察了当前流行的可解释性方法（如探针、稀疏自编码器和思维链方法）以及哲学解释方法（包括基于心理语义学的方法），以评估它们作为命题可解释性方法的优缺点。

🔬 方法详解

问题定义：当前AI可解释性研究主要集中在识别输入与输出之间的相关性，缺乏对AI系统内部状态（如信念、目标）的理解。现有方法难以解释AI为何做出特定决策，以及其决策背后的推理过程。这阻碍了我们对AI系统行为的深入理解和有效控制。

核心思路：论文的核心思路是将AI系统的内部状态解释为一系列的命题态度，例如信念、欲望和意图。通过识别和跟踪这些命题态度，我们可以更好地理解AI系统的推理过程和决策依据，从而实现更深入的可解释性。这种方法借鉴了人类心理学中解释行为的方式，认为理解个体的信念和欲望是理解其行为的关键。

技术框架：论文并没有提出一个具体的、可直接实现的技术框架，而是更侧重于概念上的阐述和方法论的探讨。其核心在于强调命题态度在AI可解释性中的作用，并分析现有方法（如探针、稀疏自编码器、思维链等）在实现命题可解释性方面的潜力和局限性。论文还提出了“思想记录”的概念，即构建能够记录AI系统所有相关命题态度的系统，但这仍然是一个开放性的挑战。

关键创新：论文最重要的创新在于提出了“命题可解释性”这一概念，并将其作为AI可解释性的一个重要方向。与传统的关注输入-输出相关性的方法不同，命题可解释性强调理解AI系统内部的信念、欲望等命题态度，从而实现更深入的理解。这种方法为AI可解释性研究提供了一个新的视角和方向。

关键设计：由于论文主要侧重于概念和方法论的探讨，因此没有涉及具体的参数设置、损失函数或网络结构等技术细节。未来的研究需要探索如何将命题可解释性的思想融入到具体的AI模型和算法设计中，例如，如何设计能够显式地表达和推理命题态度的神经网络结构，以及如何利用现有的可解释性方法来识别和提取AI系统中的命题态度。

📊 实验亮点

本文主要贡献在于概念的提出和方法的探讨，而非实验结果的展示。论文分析了现有可解释性方法在实现命题可解释性方面的局限性，并指出了未来研究的方向，例如如何构建能够记录AI系统所有相关命题态度的“思想记录”系统。这些分析为未来的研究提供了重要的指导。

🎯 应用场景

命题可解释性在多个领域具有潜在应用价值。例如，在自动驾驶领域，理解AI系统的信念（如对交通状况的判断）和目标（如安全到达目的地）可以帮助我们评估其决策的合理性。在医疗诊断领域，理解AI系统的推理过程可以提高医生对诊断结果的信任度。此外，命题可解释性还有助于提高AI系统的透明度和可控性，促进人与AI之间的协作。

📄 摘要（原文）

Mechanistic interpretability is the program of explaining what AI systems are doing in terms of their internal mechanisms. I analyze some aspects of the program, along with setting out some concrete challenges and assessing progress to date. I argue for the importance of propositional interpretability, which involves interpreting a system's mechanisms and behavior in terms of propositional attitudes: attitudes (such as belief, desire, or subjective probability) to propositions (e.g. the proposition that it is hot outside). Propositional attitudes are the central way that we interpret and explain human beings and they are likely to be central in AI too. A central challenge is what I call thought logging: creating systems that log all of the relevant propositional attitudes in an AI system over time. I examine currently popular methods of interpretability (such as probing, sparse auto-encoders, and chain of thought methods) as well as philosophical methods of interpretation (including those grounded in psychosemantics) to assess their strengths and weaknesses as methods of propositional interpretability.