MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution

📄 arXiv: 2609.35664v1 📥 PDF

作者: Prasoon Dev, Anirudh Sankar, Vasudeva Varma

分类: cs.CL, cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出MS-GLA以解决Gated Linear Attention的表示瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多尺度注意力 长程依赖 语言建模 深度学习 自然语言处理

📋 核心要点

  1. 现有的Gated Linear Attention模型在处理长程依赖时表现出固定容量的记忆矩阵限制，导致表示瓶颈。
  2. 本文提出的MS-GLA通过在多个时间分辨率上分配注意力头，分别处理长程和局部依赖，从而克服了这一限制。
  3. 实验结果显示，MS-GLA在回忆密集型任务上提高了18.9%的准确率，在语言建模基准上降低了9.5%的平均困惑度。

📝 摘要（中文）

Gated Linear Attention (GLA) Transformers通过数据依赖的门控机制推动了线性递归模型的发展，但面临固定容量的记忆矩阵在单一时间分辨率下工作的核心限制。每个token单独处理，导致同时编码局部句法模式和长程语义结构的表示瓶颈。为此，本文提出了多尺度门控线性注意力（MS-GLA），通过在多个时间分辨率上分配注意力头来解决这一问题。粗分辨率自然聚合较长的token跨度，专注于长程依赖，而细分头组则保持对局部句法结构的敏感性。可学习的、输入依赖的融合层动态重组每个时间步的头组输出，扩展有效的记忆容量而不增加每个头的状态大小。实验表明，MS-GLA在语言建模、回忆密集型任务和长上下文泛化中均表现出更高的准确性和更低的困惑度。

🔬 方法详解

问题定义：本文旨在解决Gated Linear Attention模型在固定时间分辨率下的表示瓶颈问题。现有方法无法有效处理长程依赖与局部句法结构的同时编码，导致性能受限。

核心思路：MS-GLA的核心思想是通过在多个时间分辨率上分配注意力头，使得粗分辨率专注于长程依赖，而细分辨率则保持对局部结构的敏感性。这样的设计能够有效扩展模型的记忆能力。

技术框架：MS-GLA的整体架构包括多个时间分辨率的注意力头、可学习的融合层和动态重组机制。每个时间步的头组输出通过融合层进行组合，以增强信息的表达能力。

关键创新：MS-GLA的主要创新在于引入了多尺度的时间分辨率分解，解决了Gated Linear Attention的表示瓶颈问题。这一方法与传统的单一时间分辨率模型有本质区别。

关键设计：在设计中，注意力头被分配到不同的时间分辨率，融合层的参数是可学习的，能够根据输入动态调整，从而优化模型的表现。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，MS-GLA在回忆密集型任务上实现了高达18.9%的准确率提升，并在语言建模基准上降低了9.5%的平均困惑度。这些结果表明，MS-GLA在多个任务中均优于传统的Gated Linear Attention，验证了其多时间分辨率分解的有效性。

🎯 应用场景

MS-GLA的研究成果在自然语言处理、长文本理解和对话系统等领域具有广泛的应用潜力。通过提升模型在长程依赖和局部结构处理上的能力，MS-GLA能够为实际应用提供更高的准确性和效率，推动智能对话和文本生成技术的发展。

📄 摘要（原文）

Gated Linear Attention (GLA) Transformers advance linear recurrent models through data-dependent gating, but face a core limitation: the fixed-capacity memory matrices across all heads operate at a single temporal resolution, where each token is processed individually, forcing them to simultaneously encode local syntactic patterns and long-range semantic structure, creating a representational bottleneck that gating alone is insufficient to resolve. We introduce Multi-Scale Gated Linear Attention (MS-GLA), which addresses this by distributing attention heads across multiple temporal resolutions. Coarser resolutions pool longer token spans naturally specializing toward long-range dependencies, while finer head groups retain sensitivity to local syntactic structure. A learnable, input-dependent fusion layer dynamically recombines head group outputs at each timestep, expanding effective memory capacity without increasing per-head state size. This multi-resolution decomposition draws on principles from Multi-Scale State-Space Models (MS-SSM), adapting them to the gated linear attention setting. We evaluate MS-GLA on language modeling, recall-intensive tasks, and long-context generalization. Across all settings, MS-GLA consistently achieves higher accuracy and lower perplexity than GLA at matched parameter counts, with up to 18.9% improvement on recall-intensive tasks and 9.5% lower average perplexity on language modeling benchmarks, validating multi-temporal resolution decomposition as a principled and effective extension of Gated Linear Attention.