NS-ATTENTION: Newton-Schulz Transformations of Attention Outputs in Vision Transformers

📄 arXiv: 2609.27735v1 📥 PDF

作者: Xiaohe Jiang, Guoqiang Zhang, Tianjin Huang, Ronghui Mu

分类: cs.LG

发布日期: 2026-09-23

备注: 5 pages, 2 figures. Submitted to IEEE ICASSP 2027

💡 一句话要点

提出NS-Attention以提升Transformer注意力输出的有效性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Transformer 注意力机制 Newton-Schulz 深度学习 计算机视觉 模型优化 谱分析

📋 核心要点

  1. 现有的Transformer模型在注意力机制的输出中存在谱集中度过高的问题，影响了模型的有效性。
  2. 本文提出Newton-Schulz Attention (NS-Attn.)，通过对每个注意力头输出进行无参数的NS变换，旨在提升输出的有效秩。
  3. 在CIFAR-10和CIFAR-100数据集上，NS-Attn.在所有实验中均提高了模型的最终准确性，平均增益为0.25至0.83个百分点。

📝 摘要（中文）

Newton-Schulz (NS) 迭代最近在Muon优化器中被用于转换大型语言模型的更新矩阵。受其谱效应的启发，本文直接将NS应用于Transformer的注意力表示。我们提出了Newton-Schulz Attention (NS-Attn.)，这是一种无参数的转换，应用于每个注意力头的输出。每个头的输出被整理为特征-令牌矩阵，并通过其Frobenius范数进行归一化。然后应用有限的NS多项式步骤并恢复原始范数。目标是减少谱集中度并在标准头合并和输出投影之前增加有效秩。在CIFAR-10和CIFAR-100上，NS-Attn.在所有12个匹配种子比较中提高了最终周期的准确性，平均增益为0.25至0.83个百分点。ViT的消融实验显示，进行一次迭代的平均准确性高于进行两次迭代的情况。谱分析进一步表明，主特征值集中度降低，有效秩增加。这些增益会导致额外的推理延迟。

🔬 方法详解

问题定义：本文旨在解决Transformer模型中注意力输出的谱集中度过高的问题，这会导致模型的有效性下降。现有方法未能有效处理这一问题，影响了模型的性能。

核心思路：论文提出的NS-Attn.通过对每个注意力头的输出进行Newton-Schulz变换，旨在降低谱集中度并增加有效秩，从而提升模型的表现。该方法不引入额外参数，保持了模型的简洁性。

技术框架：NS-Attn.的整体架构包括三个主要步骤：首先将每个注意力头的输出整理为特征-令牌矩阵；其次通过Frobenius范数进行归一化；最后应用有限的NS多项式步骤并恢复原始范数。

关键创新：NS-Attn.的主要创新在于将Newton-Schulz迭代直接应用于注意力头的输出，这与传统的注意力机制不同，能够有效降低谱集中度并提升有效秩。

关键设计：在设计中，NS-Attn.不需要额外的参数设置，且通过Frobenius范数的归一化处理确保了输出的稳定性。实验中还发现进行一次迭代的效果优于进行两次迭代。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在CIFAR-10和CIFAR-100数据集上，NS-Attn.在所有12个匹配种子比较中均提高了最终周期的准确性，平均增益为0.25至0.83个百分点。ViT的消融实验表明，进行一次迭代的平均准确性高于进行两次迭代的情况，显示出该方法的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理等需要高效注意力机制的深度学习任务。通过提升Transformer模型的有效性，NS-Attn.有望在图像分类、目标检测等任务中取得更好的性能，推动相关领域的发展。

📄 摘要（原文）

Newton-Schulz (NS) iteration has recently been used in the Muon optimizer to transform update matrices during the training of large language models. Motivated by its spectral effect, we investigate applying NS directly to Transformer attention representations. We introduce Newton-Schulz Attention (NS-Attn.), a parameter-free transformation applied to the output of each attention head. Each head output is arranged as a feature-by-token matrix and normalized by its Frobenius norm. We then apply a finite NS polynomial step and restore the original norm. The objective is to reduce spectral concentration and increase effective rank before standard head merging and output projection. Across ViT and Swin on CIFAR-10 and CIFAR-100, NS-Attn. improves final-epoch accuracy in all 12 matched-seed comparisons, with mean gains of 0.25--0.83 percentage points. ViT ablations show higher mean accuracy with one iteration than with two. Spectral analysis further shows reduced leading-eigenvalue concentration and increased effective rank. These gains incur additional inference latency.