Transformers need glasses! Information over-squashing in language tasks
作者: Federico Barbero, Andrea Banino, Steven Kapturowski, Dharshan Kumaran, João G. M. Araújo, Alex Vitvitskyi, Razvan Pascanu, Petar Veličković
分类: cs.CL, cs.LG
发布日期: 2024-06-06 (更新: 2024-10-24)
💡 一句话要点
揭示Transformer语言模型的信息过挤压问题，并提出潜在解决方案
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Transformer 大型语言模型 信息过挤压 表示崩溃 信号传播
📋 核心要点
- 现有大型语言模型基于Transformer架构，但其信息传播机制存在缺陷，导致表示崩溃和对特定token的敏感性丧失。
- 论文通过理论分析揭示了Transformer中的信息过挤压现象，并证明了输入序列的不同会导致最终表示的相似，从而影响模型性能。
- 实验验证了理论分析，并在当代LLM上观察到信息过挤压现象，同时提出了潜在的解决方案方向。
📝 摘要（中文）
本文研究了仅解码器Transformer中的信息传播机制，这类Transformer是当前大型语言模型（LLM）的架构基础。我们依赖于理论信号传播分析，具体来说，分析了Transformer最后一层中最后一个token的表示，因为该表示用于下一个token的预测。我们的分析揭示了一种表示崩溃现象：我们证明，Transformer的某些不同输入序列可以在最终token中产生任意接近的表示。低精度浮点格式加剧了这种效应，而现代LLM经常使用低精度浮点格式。因此，模型无法对这些序列做出不同的响应，从而导致计数或复制等任务中出现错误。此外，我们表明，仅解码器Transformer语言模型可能会失去对输入中特定token的敏感性，这与图神经网络中众所周知的过挤压现象有关。我们提供了经验证据来支持我们在当代LLM上的主张。我们的理论也指出了缓解这些问题的简单解决方案。
🔬 方法详解
问题定义：论文旨在解决Transformer语言模型中信息过挤压（Information Over-squashing）的问题。现有Transformer模型在处理长序列时，容易丢失输入序列中特定token的信息，导致模型无法区分不同的输入序列，尤其是在需要计数或复制等任务中表现不佳。这种信息丢失的根本原因是Transformer的表示空间存在“崩溃”现象，即不同的输入序列最终会映射到非常相似的表示。
核心思路：论文的核心思路是通过理论分析来揭示Transformer中信息传播的瓶颈，并证明信息过挤压现象的存在。具体来说，论文分析了Transformer最后一层中最后一个token的表示，并证明不同的输入序列可能导致非常相似的表示。这种相似性使得模型难以区分不同的输入，从而导致性能下降。论文还指出，低精度浮点格式会加剧这种现象。
技术框架：论文的技术框架主要包括以下几个部分：1) 理论分析：使用数学工具分析Transformer中的信号传播过程，证明表示崩溃现象的存在。2) 经验验证：在实际的LLM上进行实验，验证理论分析的结论。3) 解决方案探索：基于理论分析，提出潜在的解决方案方向。
关键创新：论文的关键创新在于：1) 首次从理论上揭示了Transformer语言模型中信息过挤压现象的存在，并给出了数学证明。2) 指出低精度浮点格式会加剧信息过挤压现象。3) 通过实验验证了理论分析的结论，并在实际的LLM上观察到信息过挤压现象。
关键设计：论文的理论分析主要关注Transformer最后一层中最后一个token的表示。论文使用数学工具分析了Transformer中不同输入序列的表示之间的距离，并证明了这些距离可以任意小，从而导致表示崩溃。论文还考虑了低精度浮点格式对表示的影响，并证明低精度会加剧表示崩溃现象。具体的参数设置和网络结构沿用了标准的Transformer架构。
🖼️ 关键图片
📊 实验亮点
论文通过理论分析证明了Transformer语言模型中存在信息过挤压现象，并指出低精度浮点格式会加剧该现象。实验结果表明，在实际的LLM上，不同的输入序列可能导致非常相似的表示，从而影响模型的性能。这些发现为改进LLM的架构和训练方法提供了重要的理论依据。
🎯 应用场景
该研究成果对提升大型语言模型的性能具有重要意义。通过解决信息过挤压问题，可以提高LLM在需要长程依赖的任务中的表现，例如计数、复制、逻辑推理等。此外，该研究还可以指导LLM的架构设计和训练方法，例如，可以设计更有效的注意力机制或使用更高精度的浮点格式。
📄 摘要（原文）
We study how information propagates in decoder-only Transformers, which are the architectural backbone of most existing frontier large language models (LLMs). We rely on a theoretical signal propagation analysis -- specifically, we analyse the representations of the last token in the final layer of the Transformer, as this is the representation used for next-token prediction. Our analysis reveals a representational collapse phenomenon: we prove that certain distinct sequences of inputs to the Transformer can yield arbitrarily close representations in the final token. This effect is exacerbated by the low-precision floating-point formats frequently used in modern LLMs. As a result, the model is provably unable to respond to these sequences in different ways -- leading to errors in, e.g., tasks involving counting or copying. Further, we show that decoder-only Transformer language models can lose sensitivity to specific tokens in the input, which relates to the well-known phenomenon of over-squashing in graph neural networks. We provide empirical evidence supporting our claims on contemporary LLMs. Our theory also points to simple solutions towards ameliorating these issues.