Breaking Quadratic Barriers: A Non-Attention LLM for Ultra-Long Context Horizons

📄 arXiv: 2506.01963v1 📥 PDF

作者: Andrew Kiruluta, Preethi Raju, Priscilla Burity

分类: cs.LG, cs.CL

发布日期: 2025-05-09

💡 一句话要点

提出一种非注意力机制LLM，突破二次方壁垒，实现超长上下文处理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长文本处理 非注意力机制 状态空间模型 卷积神经网络 循环神经网络 外部记忆 超长上下文 语言模型

📋 核心要点

  1. 传统Transformer模型在处理长文本时，自注意力机制导致计算和内存开销呈二次方增长，成为瓶颈。
  2. 该论文提出一种非注意力机制的LLM，结合状态空间块、多分辨率卷积、循环监督器和检索增强外部记忆。
  3. 该模型旨在突破传统Transformer的二次方复杂度限制，实现对超长上下文的高效处理。

📝 摘要（中文）

本文提出了一种新颖的、非基于注意力机制的大型语言模型（LLM）架构，能够高效处理超长上下文窗口，达到数十万甚至数百万token级别。与传统Transformer设计不同，由于自注意力机制的特性，后者会遭受二次方级别的内存和计算过载。本文提出的模型完全避免了token到token的注意力机制，而是结合了以下互补组件：状态空间块（受S4启发），学习连续时间卷积核，并以接近线性的方式随序列长度缩放；多分辨率卷积层，以不同的膨胀级别捕获局部上下文；轻量级循环监督器，用于维护跨顺序块的全局隐藏状态；以及检索增强外部记忆，用于存储和检索高级块嵌入，而不会重新引入二次方运算。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在处理超长上下文时面临计算和内存瓶颈。Transformer架构中的自注意力机制复杂度为O(n^2)，其中n是序列长度。这使得处理数十万甚至数百万token的序列变得非常困难，限制了LLM在需要长程依赖的任务中的应用。

核心思路：本文的核心思路是完全避免使用自注意力机制，转而采用一系列计算复杂度较低的模块来捕捉序列中的依赖关系。通过结合状态空间模型、卷积和循环机制，以及外部记忆，模型能够在不引入二次方复杂度的情况下处理长序列。

技术框架：该模型由以下几个主要模块组成：1) 状态空间块（State Space Blocks）：用于学习连续时间卷积核，捕捉序列中的长程依赖关系。2) 多分辨率卷积层（Multi Resolution Convolution Layers）：使用不同膨胀率的卷积核捕捉局部上下文信息。3) 循环监督器（Recurrent Supervisor）：使用轻量级的循环神经网络维护全局隐藏状态，用于跨块的信息传递。4) 检索增强外部记忆（Retrieval Augmented External Memory）：存储和检索高级块嵌入，用于增强模型的记忆能力。这些模块共同作用，使得模型能够高效地处理超长上下文。

关键创新：该模型最重要的创新点在于完全摒弃了自注意力机制，转而使用状态空间模型和卷积来捕捉序列中的依赖关系。这种设计避免了二次方复杂度，使得模型能够处理超长序列。此外，循环监督器和外部记忆的引入进一步增强了模型的长程依赖建模能力。

关键设计：状态空间块的设计灵感来源于S4模型，通过学习连续时间卷积核来捕捉序列中的长程依赖关系。多分辨率卷积层使用不同膨胀率的卷积核，以捕捉不同尺度的局部上下文信息。循环监督器使用GRU或LSTM等轻量级循环神经网络，用于维护全局隐藏状态。检索增强外部记忆使用向量数据库存储和检索块嵌入，例如使用FAISS进行快速相似度搜索。

🖼️ 关键图片

fig_0

📊 实验亮点

论文重点在于架构设计，目前摘要中没有提供具体的实验数据。但其核心贡献在于突破了传统Transformer的二次方复杂度限制，理论上能够处理远超现有模型的超长上下文。未来的实验结果将验证其在实际应用中的性能表现，并与其他长文本处理模型进行对比。

🎯 应用场景

该研究成果可应用于需要处理超长文本的各种场景，例如：长篇小说生成、法律文档分析、科学论文理解、医疗记录处理、金融市场预测等。通过高效处理超长上下文，该模型能够更好地理解文本的深层含义，并生成更连贯、更具逻辑性的内容。未来，该技术有望推动LLM在更多领域的应用。

📄 摘要（原文）

We present a novel non attention based architecture for large language models (LLMs) that efficiently handles very long context windows, on the order of hundreds of thousands to potentially millions of tokens. Unlike traditional Transformer designs, which suffer from quadratic memory and computation overload due to the nature of the self attention mechanism, our model avoids token to token attention entirely. Instead, it combines the following complementary components: State Space blocks (inspired by S4) that learn continuous time convolution kernels and scale near linearly with sequence length, Multi Resolution Convolution layers that capture local context at different dilation levels, a lightweight Recurrent Supervisor to maintain a global hidden state across sequential chunks, and Retrieval Augmented External Memory that stores and retrieves high-level chunk embeddings without reintroducing quadratic operations.