Error-Free Linear Attention is a Free Lunch: Exact Solution from Continuous-Time Dynamics

📄 arXiv: 2512.12602v2 📥 PDF

作者: Jingdi Lei, Di Zhang, Soujanya Poria

分类: cs.LG

发布日期: 2025-12-14 (更新: 2026-01-07)

备注: 17 pages, 2 figures

💡 一句话要点

提出无误差线性注意力EFLA，通过连续时间动力学实现精确解，解决长文本建模的二次复杂度问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 线性注意力 连续时间动力学 长文本建模 无误差 语言模型

📋 核心要点

  1. 传统softmax注意力在处理长文本时面临二次复杂度挑战，限制了模型的可扩展性。
  2. EFLA将注意力机制建模为连续时间动力系统，通过求解精确解实现线性时间复杂度和完全并行化。
  3. 实验表明，EFLA在语言建模和下游任务中表现出色，尤其在噪声环境下性能优于DeltaNet。

📝 摘要（中文）

本文提出了一种名为无误差线性注意力（EFLA）的机制，它是一种数值稳定的、完全并行化的、广义的delta规则公式。EFLA旨在解决softmax注意力在长上下文语言模型中存在的二次复杂度瓶颈。具体来说，我们将在线学习更新建模为一个连续时间动力系统，并证明其精确解不仅是可达的，而且可以在线性时间内以完全并行的方式计算。通过利用动力学矩阵的秩1结构，我们直接推导出精确的闭式解，该解有效地对应于无限阶Runge-Kutta方法。从理论上讲，这种注意力机制没有误差累积，能够完美地捕捉连续动力学，同时保持线性时间复杂度。通过大量的实验，我们表明EFLA能够在嘈杂的环境中实现稳健的性能，与DeltaNet相比，在不引入额外参数的情况下，实现了更低的语言建模困惑度和更优越的下游基准性能。我们的工作为构建高保真、可扩展的线性时间注意力模型提供了一个新的理论基础。

🔬 方法详解

问题定义：传统softmax注意力机制在处理长序列时，计算复杂度呈二次方增长，成为长文本建模的瓶颈。现有的线性注意力方法虽然降低了复杂度，但往往引入了近似，导致精度损失和误差累积。

核心思路：EFLA的核心思路是将注意力权重的更新过程视为一个连续时间动力系统。通过精确求解该动力系统的微分方程，可以直接得到注意力权重的解析解，避免了离散近似带来的误差。这种方法利用了动力学矩阵的特殊结构（秩1），从而可以在线性时间内完成计算。

技术框架：EFLA没有明确的“架构”或“流程”，而是一种注意力计算方法。其核心在于将注意力权重的更新表示为如下的连续时间动力系统： dK/dt = f(Q, K, V)，其中Q、K、V分别代表查询、键和值。论文的关键在于找到了该微分方程的精确解，避免了迭代求解。

关键创新：EFLA最重要的创新在于它提供了一种从连续时间动力学角度理解和实现线性注意力的新框架。通过求解动力系统的精确解，EFLA避免了传统线性注意力方法中常见的近似和误差累积问题。与现有方法相比，EFLA在理论上保证了无误差，并且能够更好地捕捉序列之间的依赖关系。

关键设计：EFLA的关键设计在于利用了动力学矩阵的秩1结构，从而能够推导出精确的闭式解。具体来说，论文推导出了注意力权重的解析表达式，该表达式可以直接通过输入Q、K、V计算得到，而无需进行迭代或近似。该表达式对应于无限阶Runge-Kutta方法，保证了计算的精度。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，EFLA在语言建模任务中取得了显著的性能提升，在不增加额外参数的情况下，降低了困惑度。在下游基准测试中，EFLA也表现出优于DeltaNet的性能，尤其是在噪声环境下，EFLA的鲁棒性更强。这些结果验证了EFLA的有效性和优越性。

🎯 应用场景

EFLA具有广泛的应用前景，尤其是在需要处理长序列数据的领域，如长文本语言建模、语音识别、视频理解、基因组分析等。其线性时间复杂度和无误差特性使其能够构建更大规模、更高精度的模型，从而提升相关任务的性能。此外，EFLA的理论框架也为设计新型注意力机制提供了新的思路。

📄 摘要（原文）

Linear-time attention and State Space Models (SSMs) promise to solve the quadratic cost bottleneck in long-context language models employing softmax attention. We introduce Error-Free Linear Attention (EFLA), a numerically stable, fully parallelism and generalized formulation of the delta rule. Specifically, we formulate the online learning update as a continuous-time dynamical system and prove that its exact solution is not only attainable but also computable in linear time with full parallelism. By leveraging the rank-1 structure of the dynamics matrix, we directly derive the exact closed-form solution effectively corresponding to the infinite-order Runge-Kutta method. This attention mechanism is theoretically free from error accumulation, perfectly capturing the continuous dynamics while preserving the linear-time complexity. Through an extensive suite of experiments, we show that EFLA enables robust performance in noisy environments, achieving lower language modeling perplexity and superior downstream benchmark performance than DeltaNet without introducing additional parameters. Our work provides a new theoretical foundation for building high-fidelity, scalable linear-time attention models.