Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention

📄 arXiv: 2610.02816v1 📥 PDF

作者: Ruijie Li, Shengnan Ding, Weimin Zhang, Derick Tang, Zhanpeng Zeng, Qinsong Zeng, Ming Chen, Jiaxi Hu, Yuxuan Liang

分类: cs.LG

发布日期: 2026-10-02

💡 一句话要点

提出Gated Slot Attention-2以解决线性注意力中的记忆管理问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 线性注意力 记忆管理 增量规则 Gated Slot Attention 深度学习

📋 核心要点

  1. 现有线性注意力模型在固定大小的递归记忆管理上存在挑战，影响了模型的性能和效率。
  2. 论文提出Gated Oja Rule-2和Gated Slot Attention-2，通过共享插槽实现键和值的双侧修正，提升记忆管理能力。
  3. 实验结果显示，GSA2在多个基准测试中相较于强线性注意力基线有显著提升，验证了其有效性。

📝 摘要（中文）

线性注意力模型作为标准注意力的高效替代方案，面临固定大小的递归记忆管理挑战。为改善记忆，近期研究探索了两种方向：用于精确修正与键相关值的增量规则变体，以及基于插槽的架构如Gated Slot Attention，后者在两个阶段建模键和值的记忆。本文提出Gated Oja Rule-2，结合Gated Delta Rule-2，通过共享潜在插槽实现键侧和值侧的修正。实验表明，GSA2在多个基准测试中优于强线性注意力基线，同时保持线性时间序列建模和恒定内存递归解码。

🔬 方法详解

问题定义：本文旨在解决线性注意力模型中固定大小递归记忆管理的不足，现有方法在记忆修正和建模效率上存在局限性。

核心思路：通过引入Gated Oja Rule-2进行键侧修正，并结合Gated Delta Rule-2实现值侧修正，利用共享潜在插槽来增强记忆的准确性和效率。

技术框架：整体架构包括两个主要模块：键侧修正模块和值侧修正模块，分别采用Gated Oja Rule-2和Gated Delta Rule-2，确保在两个阶段有效管理记忆。

关键创新：Gated Oja Rule-2的提出是本研究的核心创新，它通过解耦的擦除和写入控制实现更精确的记忆修正，与现有方法相比，提供了更灵活的记忆管理机制。

关键设计：在模型设计中，采用了共享潜在插槽的结构，确保键和值的修正能够并行进行，同时在损失函数和参数设置上进行了优化，以提高训练效率和模型性能。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果表明，GSA2在多个基准测试中表现优异，相较于强线性注意力基线，性能提升幅度达到了XX%（具体数据待补充），同时保持了线性时间复杂度和恒定内存使用，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用场景包括自然语言处理、计算机视觉和机器人等领域，尤其是在需要高效记忆管理的任务中，如长序列建模和实时数据处理。未来，GSA2有望在多模态学习和复杂系统的记忆管理中发挥重要作用。

📄 摘要（原文）

Linear attention models have emerged as efficient alternatives to standard attention, but effectively managing their fixed-size recurrent memory remains challenging. To improve memory, recent work has explored two distinct directions: delta-rule variants for precise correction of values associated with keys, and slot-based architectures such as Gated Slot Attention for modeling key and value memories in two stages. We observe that these directions are complementary--the delta rule provides effective memory correction, while the two-stage structure provides a natural way to operate on both sides of an association. Building on this insight, we introduce a new Gated Oja Rule for key-side correction and extend it with decoupled erase and write control to obtain Gated Oja Rule-2. We then introduce Gated Slot Attention-2 (GSA2), which combines Gated Oja Rule-2 for key-side correction with Gated Delta Rule-2 for value-side correction through shared latent slots. We further derive a hardware-efficient chunkwise algorithm for parallel training. Experiments demonstrate that GSA2 consistently improves over strong linear-attention baselines across benchmarks while retaining linear-time sequence modeling and constant-memory recurrent decoding.