Natural Language Autoencoders Identify Without Explaining
作者: Kristina Šekrst, Barbara Geld
分类: cs.CL
发布日期: 2026-10-23
备注: ISPSM 2026
💡 一句话要点
提出自然语言自编码器以识别而非解释模型激活
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 自然语言处理 自编码器 模型可解释性 激活识别 信息充分性
📋 核心要点
- 现有的自然语言自编码器在解释模型激活时，可能导致信息的描述不准确，未能解决可解释性问题。
- 论文提出的核心思想是，识别激活的准确性比解释其功能更为重要，强调信息的充分性而非描述的真实性。
- 通过对比实验，论文展示了NLA在激活识别方面的有效性，但同时指出其解释的可靠性仍需进一步验证。
📝 摘要（中文）
自然语言自编码器（NLA）以可读文本的形式表达模型的内部激活。该方法通过一个“语言化器”将激活转化为英文解释，再通过“重构器”将解释转换回激活。论文指出，虽然这种方法可以评估信息的充分性，但并未解决描述的真实性问题。即使句子包含足够的信息来识别激活，它也可能错误地解释激活的功能。NLA在旨在提高可解释性的同时，重新引入了它们原本希望解决的认识论问题。
🔬 方法详解
问题定义：论文要解决的问题是现有自然语言自编码器在解释模型激活时，可能导致信息描述的不准确性，未能有效解决可解释性问题。
核心思路：论文的核心思路是强调激活的准确识别比对其功能的解释更为重要，提出信息的充分性应作为评估标准，而非描述的真实性。
技术框架：整体架构包括两个主要模块：语言化器和重构器。语言化器将激活转化为可读的英文解释，重构器则将该解释转换回激活。
关键创新：最重要的技术创新在于重新定义了可解释性的评估标准，强调信息的充分性而非描述的真实性，这与现有方法的关注点有本质区别。
关键设计：在设计中，论文未详细说明具体的参数设置和网络结构，但强调了重构过程的准确性和信息的充分性作为评估标准。具体的损失函数和网络架构细节尚未明确。
🖼️ 关键图片
📊 实验亮点
实验结果表明，NLA在激活识别方面表现出色，能够有效识别激活信息，尽管其解释的可靠性仍需进一步验证。具体的性能数据和对比基线尚未提供，但论文强调了信息充分性的重要性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器学习模型的可解释性提升以及人机交互系统。通过改进模型的激活识别能力，能够在多个领域中提高模型的透明度和信任度，促进更广泛的应用。
📄 摘要（原文）
Natural Language Autoencoders (NLAs) express a model's internal activations in the form of readable text. The verbalizer turns an activation into an English explanation; the reconstructor then converts that explanation back into an activation, and the explanation is considered successful if the round trip brings back the original activation. We claim that this criterion evaluates whether the information is sufficient and does not address descriptive faithfulness. A sentence can contain sufficient information to make it possible to identify an activation even if it wrongly explains what the activation does: in the case of reconstruction, the primary aim is to accurately identify the activations and not to describe them. This issue has the same structure as the chain-of-thought faithfulness problem, in which verbal output that has been trained to go with a process is taken as a report on that process, and it parallels the dissociation between an individual's introspective report and the actual governing process as documented in human psychology. Although proposed as interpretability tools for the purpose of alignment, NLAs reintroduce, through unverified explanations, the epistemic problem that they were intended to resolve.