Xeno-Interpretability: Investigating the Alien Minds of LLMs
作者: F. Pierucci, M. Bracale Syrnikov, M. Prandi, M. Galisai, F. Giarrusso, P. Bisconti
分类: cs.CL, cs.AI
发布日期: 2026-09-17
💡 一句话要点
提出外部可解释性以探索大型语言模型的内部结构
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 外部可解释性 内部表征 AI安全 多智能体系统 语义空间 因果操控
📋 核心要点
- 现有方法主要依赖人类已有的概念来解释大型语言模型，无法充分理解模型内部的独特表征。
- 论文提出外部可解释性，旨在识别和表征模型本土的内部结构，超越人类概念的限制。
- 研究表明，LLM的内部区分空间远大于人类描述，且这些内部表征可以被实验性地识别和操控。
📝 摘要（中文）
大型语言模型通常通过人类已有的概念进行解释，如真实性、拒绝、欺骗等。本文探讨模型是否也能使用人类概念不足的区分，称之为外部表征及其研究为外部可解释性。我们区分了人类可解释的语义空间与模型本土的语义空间，表明LLM内部可能的区分空间远大于有限的人类描述。我们将实验识别与语义解释分开，强调即使内部表征的语义内容无法用人类术语充分表达，仍可被定位、表征和操控。最后，探讨了对AI安全和多智能体系统的影响，指出模型本土表征可能在交互中传播并稳定，但人类可读的交流仅部分可见。外部可解释性将可解释性的目标从寻找人类概念转向发现和表征模型自身的结构。
🔬 方法详解
问题定义：本文旨在解决大型语言模型的可解释性问题，现有方法无法充分捕捉模型内部的独特表征，导致对模型行为的理解不足。
核心思路：论文提出外部可解释性，强调识别和表征模型本土的内部结构，探索人类概念无法涵盖的表征。通过将实验识别与语义解释分开，能够更全面地理解模型的行为。
技术框架：研究首先定义了人类可解释的语义空间与模型本土的语义空间，接着通过实验手段识别内部表征，并对其进行几何特征描述和因果操控，最后分析其对下游行为的影响。
关键创新：最重要的创新在于提出了外部可解释性这一概念，强调模型内部表征的独特性与复杂性，推动了可解释性研究的方向转变。
关键设计：在实验设计中，采用了几何特征描述方法，结合因果操控技术，确保能够在不依赖人类概念的情况下，准确识别和分析模型的内部表征。具体参数设置和损失函数设计尚未详细披露。
🖼️ 关键图片
📊 实验亮点
实验结果显示，LLM的内部区分空间显著大于人类可描述的范围，能够识别出多种人类概念无法表达的内部表征。这些表征在实验中被成功定位和操控，展示了外部可解释性的有效性和潜力。
🎯 应用场景
该研究的潜在应用领域包括AI安全性评估和多智能体系统的设计。通过理解模型本土表征，可以更好地预测和控制模型行为，降低潜在风险，促进智能体之间的有效协作。未来可能在自动化决策、智能助手等领域产生深远影响。
📄 摘要（原文）
Large language models are usually interpreted through concepts that humans already possess: truthfulness, refusal, deception, personality, harmfulness, and related categories. This paper asks whether models may also represent and use distinctions for which no adequate human concept exists. We call such internal structures xeno-representations, and their study xeno-interpretability. We distinguish the human-interpretable semantic space from the xeno-semantic space: the region of model-native representations for which no adequate human conceptual counterpart is available. We show that the space of possible internal distinctions in an LLM is substantially larger than the space available through finite human descriptions. We then separate experimental identification from semantic interpretation: an internal representation may be reproducibly located, geometrically characterized, causally manipulated, and linked to downstream behaviour even when its semantic content cannot be adequately expressed in human terms. On this basis, we sketch an empirical programme to identify xeno-representations. We finally examine the implications for AI safety and multi-agent systems, where model-native representations may propagate and stabilize across interacting agents while remaining only partially visible through human-readable communication. Xeno-interpretability therefore shifts the aim of interpretability from finding human concepts inside models toward discovering and characterizing the representational structures that are native to the models themselves and might affect their behaviour in unpredictable ways.