Verbalizing Activation Differences with Natural Language Autoencoders

📄 arXiv: 2610.30934v1 📥 PDF

作者: Andrea Blasi Núñez, Gianluca Barmina, Federico Torrielli, Thiusius Rajeeth Savarimuthu, Peter Schneider-Kamp, Lukas Galke Poech

分类: cs.CL

发布日期: 2026-10-22

备注: Under Review

💡 一句话要点

提出自然语言自编码器以有效表达激活差异

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自然语言处理 激活语言化 模型微调 深度学习 可解释性

📋 核心要点

  1. 现有的激活语言化方法在泛化能力和组合结构方面存在不足，限制了其应用范围。
  2. 本文提出的自然语言自编码器通过重构激活来实现激活的语言化，能够有效捕捉输入的组合结构。
  3. 实验结果显示，NLA在多种模型上表现良好，能够恢复微调目标，并在激活差异分析中优于黑箱基线。

📝 摘要（中文）

激活语言化器将大型语言模型的内部表示转换为人类可读的文本。最近提出的自然语言自编码器（NLA）通过自然语言瓶颈重构激活。然而，这些方法在训练设置之外的泛化能力尚不明确。本文研究了NLA在四个相关问题上的表现，包括NLA语言化是否具有组合结构、是否能泛化到微调版本、是否能恢复微调目标以及是否可以专门用于模型差异分析。实验结果表明，NLA在这些方面表现良好，尤其是在激活差异的语言化和微调目标的恢复上，展示了其在未来研究中的潜力。

🔬 方法详解

问题定义：本文旨在解决自然语言自编码器在激活差异语言化中的泛化能力不足的问题。现有方法在不同模型和微调版本上的表现不佳，限制了其应用。

核心思路：论文的核心思路是利用自然语言自编码器重构激活，通过自然语言瓶颈捕捉输入的组合结构，从而实现有效的激活语言化。这样的设计使得模型能够在不同设置下保持较好的性能。

技术框架：整体架构包括激活的输入、自然语言自编码器的重构过程以及输出的语言化结果。主要模块包括激活捕捉、语言生成和重构质量评估。

关键创新：最重要的技术创新在于NLA能够在不重新训练的情况下重用在轻量级微调模型上的表现，且在激活差异的语言化中能够有效恢复隐藏的目标词。

关键设计：在参数设置上，NLA采用了特定的损失函数以优化重构质量，网络结构设计上则注重于激活的组合特征提取，确保在不同模型间的有效迁移。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，NLA在激活语言化方面表现出色，能够在大多数情况下恢复隐藏的目标词，并在微调模型上无需重新训练即可保持较高的重构质量。尽管在新兴的错位检测任务上未能超越最先进的方法，但仍优于黑箱基线，显示出良好的应用潜力。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、模型解释性和机器学习模型的调优。通过有效的激活语言化，研究者可以更好地理解模型的内部机制，从而提升模型的可解释性和可靠性。未来，NLA可能在多模态学习和人机交互等领域发挥重要作用。

📄 摘要（原文）

Activation verbalizers translate the internal representations of large language models into human-readable text. The recently proposed natural language autoencoders (NLAs) learn this by reconstructing activations through a natural language bottleneck. However, it remains unclear how well these methods generalize beyond the setting they were trained for. Here, we study this question for NLAs along four closely related questions: (i) Do NLA verbalizations exhibit compositional structure with respect to their input? (ii) Do NLAs generalize to finetuned versions of the model they were trained for? (iii) Can NLAs recover finetuning objectives in model diffing? (iv) Can NLAs be specialized for model diffing? Across four models from three families, our experiments provide evidence supporting a largely positive answer to all four questions. Specifically, verbalizations of composed analogy activations mostly name the target while rarely mentioning the subtracted word, and an NLA can be reused on lightweight finetunes of its original model without retraining, with reconstruction quality degrading noticeably only for the largest model. Verbalizing activation differences between Taboo model organisms and their original models recovers the concealed secret word for most organisms, and reinforcement learning on activation differences further improves this recovery on held-out organisms. We also find that NLAs can recover the finetuning objective without the finetuned model generating any token, since the most informative token positions precede the user prompt. NLAs do not yet match state-of-the-art model diffing methods on the emergent misalignment detection task, but outperform a blackbox baseline. Our findings suggest that NLAs can meaningfully verbalize differences in activation space, rendering NLAs a promising direction for future work.