It's Not RoPE that Creates Sinks: The Role of Self-Concentration and Value-Non-Mixing in Attention

📄 arXiv: 2609.09085v1 📥 PDF

作者: Raito Kiya, Satoki Ohashi, Kosuke Sato, Go Kamoda, Ryosuke Takahashi, Yuji Yamamoto, Daiki Shiono, Keisuke Sakaguchi, Goro Kobayashi

分类: cs.CL

发布日期: 2026-09-08

备注: Accepted at EMNLP 2026

💡 一句话要点

分析自集中与价值非混合在注意力机制中的作用

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 注意力机制 大型语言模型 量化策略 自集中 价值非混合 自然语言处理 机器学习

📋 核心要点

  1. 现有的大型语言模型在处理序列时，常出现注意力沉没和巨大激活现象，影响模型的量化性能。
  2. 论文提出通过分析注意力自集中和价值非混合的作用，深入理解这些现象的成因，提供新的视角。
  3. 实验结果表明，注意力自集中和价值非混合显著影响AS和MAs的出现，为量化策略的改进提供了实证支持。

📝 摘要（中文）

大型语言模型（LLMs）常常表现出“注意力沉没”（AS）现象以及伴随的“巨大激活”（MAs），尤其是在序列的初始位置。这些现象经常同时出现，而MAs可能对低位量化造成挑战。本研究分析了无论占据初始位置的令牌如何，AS和MAs背后的因素。实验结果表明，因因果掩码导致的注意力自集中以及后续的注意力输出中的价值非混合共同促进了AS和MAs的出现。这些发现为LLMs的内部动态提供了新的实证证据，可能为未来的量化策略提供启示，并加深我们对注意力层内部机制的理解。

🔬 方法详解

问题定义：本论文旨在解决大型语言模型中出现的注意力沉没（AS）和巨大激活（MAs）现象，现有方法未能有效解释这些现象的成因及其对模型性能的影响。

核心思路：论文的核心思路是分析注意力机制中的自集中和价值非混合如何影响AS和MAs的出现，认为这些因素是导致现象发生的关键。

技术框架：研究通过实验设计，分析不同令牌在序列初始位置的表现，探讨因果掩码对注意力自集中的影响，以及后续输出中的价值非混合现象。

关键创新：论文的主要创新在于揭示了自集中和价值非混合在注意力机制中的作用，提供了新的实证证据，填补了现有研究的空白。

关键设计：实验中采用了特定的量化策略和注意力机制设计，重点关注自集中程度和输出的价值非混合，确保实验结果的可靠性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，注意力自集中与价值非混合显著影响注意力沉没和巨大激活的出现，提供了新的实证数据支持。具体而言，模型在处理初始令牌时，AS和MAs的出现频率较高，影响了量化性能，提示了改进的方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、机器翻译和对话系统等，能够帮助优化大型语言模型的性能，尤其是在低位量化场景下。未来，该研究可能推动对注意力机制的更深入理解，并为模型设计提供新的思路。

📄 摘要（原文）

Large Language Models (LLMs) often exhibit "Attention Sink" (AS) and the accompanying "Massive Activations" (MAs) at the initial position of a sequence. These phenomena frequently co-occur, and MAs can pose challenges for low-bit quantization. In this study, we analyze the factors underlying AS and MAs that emerge at the initial position regardless of the token occupying it. Our experiments suggest that self-concentration of attention, resulting from the causal mask, and the subsequent Value-non-mixing in attention outputs contribute to AS and MAs. These findings provide new empirical evidence on the internal dynamics of LLMs, offering insights that may inform future quantization strategies and advance our understanding of the internal mechanisms of attention layers.