On the Interpolation Error of Nonlinear Attention versus Linear Regression

📄 arXiv: 2506.18656 📥 PDF

作者: Zhenyu Liao, Jiaqing Liu, TianQi Hou, Difan Zou, Zenan Ling

分类: stat.ML, cs.LG, math.ST

发布日期: 2026-02-28

💡 一句话要点

研究表明非线性Attention在高维情形下插值误差通常大于线性回归，但结构化信号可缩小差距。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: Attention机制 非线性模型 插值误差 随机矩阵理论 高维数据 结构化信号

📋 核心要点

  1. 现有Attention机制的理论理解，尤其是在非线性场景下，仍然不足，限制了其进一步优化和应用。
  2. 论文通过随机矩阵理论，在高维情况下对非线性Attention的插值误差进行了精确刻画和分析。
  3. 研究表明，当输入包含与Attention权重对齐的结构化信号时，非线性Attention的性能可以超越线性回归。

📝 摘要（中文）

Attention机制已成为现代机器学习的核心组成部分，能够有效地捕获输入tokens之间的长程依赖关系。其固有的并行化结构使其能够随着数据和模型参数规模的快速增长而实现高效的性能扩展。尽管Attention机制至关重要，但对其理论理解，尤其是在非线性设置中，进展相对缓慢。本文精确地刻画了非线性Attention的插值误差，在高维情况下，输入tokens的数量$n$和嵌入维度$p$都很大且可比。在信号加噪声的数据模型和固定的Attention权重下，我们推导了均方插值误差的显式（极限）表达式。利用随机矩阵理论的最新进展，我们表明非线性Attention通常比随机输入的线性回归产生更大的插值误差。然而，当输入包含结构化信号时，这种差距会消失，甚至可以逆转，特别是当Attention权重与信号方向对齐时。我们的理论见解得到了数值实验的支持。

🔬 方法详解

问题定义：论文旨在解决非线性Attention在高维数据场景下的插值误差问题。现有方法缺乏对非线性Attention在高维情况下的理论分析，无法解释其性能表现，尤其是在数据包含结构化信号时与线性回归的差异。

核心思路：论文的核心思路是利用随机矩阵理论，将高维非线性Attention的插值误差问题转化为可分析的数学模型。通过分析该模型的极限行为，可以推导出插值误差的显式表达式，从而揭示非线性Attention在高维情况下的性能特点。特别地，论文关注输入数据中结构化信号对插值误差的影响。

技术框架：论文的技术框架主要包括以下几个步骤：1) 建立信号加噪声的数据模型，假设输入数据包含一个结构化信号和一个随机噪声；2) 定义非线性Attention机制，并假设Attention权重是固定的；3) 利用随机矩阵理论，推导均方插值误差的显式表达式；4) 分析该表达式，研究输入数据中结构化信号对插值误差的影响；5) 通过数值实验验证理论分析的正确性。

关键创新：论文最重要的技术创新点在于利用随机矩阵理论对高维非线性Attention的插值误差进行了精确刻画。与现有方法相比，该方法能够处理非线性Attention，并考虑输入数据中结构化信号的影响。此外，论文还揭示了Attention权重与信号方向对齐时，非线性Attention性能超越线性回归的现象。

关键设计：论文的关键设计包括：1) 采用信号加噪声的数据模型，能够模拟真实世界数据的特点；2) 假设Attention权重是固定的，简化了分析的复杂度；3) 利用随机矩阵理论中的经典结果，如Marchenko-Pastur定律，推导插值误差的显式表达式；4) 通过数值实验验证理论分析的正确性，并研究不同参数设置对插值误差的影响。

📊 实验亮点

论文通过理论分析和数值实验表明，在高维情况下，非线性Attention通常比线性回归产生更大的插值误差。然而，当输入包含与Attention权重对齐的结构化信号时，非线性Attention的性能可以超越线性回归。数值实验验证了理论分析的正确性。

🎯 应用场景

该研究成果可应用于自然语言处理、计算机视觉等领域，帮助研究人员更好地理解和优化Attention机制。通过合理设计Attention权重，可以提高模型在处理结构化数据时的性能，例如在机器翻译、图像识别等任务中。

📄 摘要（原文）

Attention has become the core building block of modern machine learning (ML) by efficiently capturing the long-range dependencies among input tokens. Its inherently parallelizable structure allows for efficient performance scaling with the rapidly increasing size of both data and model parameters. Despite its central role, the theoretical understanding of Attention, especially in the nonlinear setting, is progressing at a more modest pace.This paper provides a precise characterization of the interpolation error for a nonlinear Attention, in the high-dimensional regime where the number of input tokens $n$ and the embedding dimension $p$ are both large and comparable. Under a signal-plus-noise data model and for fixed Attention weights, we derive explicit (limiting) expressions for the mean-squared interpolation error. Leveraging recent advances in random matrix theory, we show that nonlinear Attention generally incurs a larger interpolation error than linear regression on random inputs. However, this gap vanishes, and can even be reversed, when the input contains a structured signal, particularly if the Attention weights align with the signal direction. Our theoretical insights are supported by numerical experiments.