Kronecker Delta Rule for Long Context Linear Attention

📄 arXiv: 2610.26834v1 📥 PDF

作者: Anamaria-Roberta Hartl, Levente Zólyomi, Michael List, Günter Klambauer, Sebastian Böck, Sepp Hochreiter

分类: cs.LG, cs.AI

发布日期: 2026-10-19

🔗 代码/项目: GITHUB | HUGGINGFACE

💡 一句话要点

提出KronLSTM以解决长上下文语言建模问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长上下文建模 线性注意力 Kronecker Delta规则 内存修正机制 深度学习

📋 核心要点

  1. 现有的线性注意力架构在长上下文语言建模中存在内存干扰和不稳定性的问题。
  2. KronLSTM通过引入Kronecker Delta规则，实现了一种新的内存修正机制，减少了对已有信息的干扰。
  3. 实验表明，KronLSTM在长上下文基准测试中表现优异，常常超越现有的DeltaNet系列模型。

📝 摘要（中文）

本文提出了KronLSTM，一种基于Kronecker Delta规则的线性注意力架构，旨在改进关联矩阵记忆的更新机制。KronLSTM在xLSTM家族的基础上扩展了内存修正机制，能够在仅沿单一方向修改矩阵空间的情况下，纠正目标关联。这种微侵入式的内存修正方法减少了与先前存储信息的干扰，特别适合长上下文语言建模。实验结果表明，KronLSTM在长上下文基准测试中表现优异，且在许多情况下超越了现有的线性注意力架构，确立了Kronecker Delta规则作为稳定关联记忆的有效基础。

🔬 方法详解

问题定义：本文旨在解决现有线性注意力架构在长上下文语言建模中面临的内存干扰和不稳定性问题。传统的更新机制往往导致信息丢失和干扰，影响模型性能。

核心思路：KronLSTM采用Kronecker Delta规则作为更新机制，通过微侵入式的内存修正方法，能够在不干扰已有信息的情况下，纠正目标关联，从而提高模型的稳定性和性能。

技术框架：KronLSTM的整体架构包括输入层、内存修正模块和输出层。内存修正模块负责根据Kronecker Delta规则更新记忆状态，确保内存动态的稳定性。

关键创新：KronLSTM的主要创新在于引入了Kronecker Delta规则，使得内存修正过程能够在单一方向上进行，显著减少了对已有信息的干扰。这一设计与传统的delta规则更新方法有本质区别。

关键设计：KronLSTM的设计中，内存矩阵的期望范数在整个输入序列中保持均匀有界，避免了额外的归一化和稳定机制的需求。模型的参数设置和损失函数经过精心设计，以确保内存动态的稳定性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，KronLSTM在长上下文基准测试中表现优异，常常超越现有的线性注意力架构，包括(Gated) DeltaNet系列模型。具体而言，KronLSTM在多个基准上取得了显著的性能提升，验证了其作为稳定关联记忆基础的有效性。

🎯 应用场景

KronLSTM在长上下文语言建模、自然语言处理和序列数据分析等领域具有广泛的应用潜力。其稳定的内存动态和高效的更新机制使其能够处理复杂的语言任务，提升模型的性能和可靠性。未来，该方法可能会影响更多基于记忆的深度学习模型的设计与应用。

📄 摘要（原文）

We propose KronLSTM, a linear attention architecture based on the Kronecker Delta Rule, a novel update rule for associative matrix memories. KronLSTM extends the xLSTM family with a memory-revision mechanism that corrects targeted associations while modifying the memory only along a single direction in matrix space. This minimally invasive memory revision reduces interference with previously stored information compared with delta-rule updates, making it particularly well suited for long-context language modeling. The resulting memory dynamics can be mathematically described as a Markov chain that converges to a steady-state distribution, while the expected norm of the memory matrix remains uniformly bounded throughout the entire input sequence. Hence, KronLSTM ensures stable memory dynamics without requiring additional normalization and stabilization mechanisms for the memory state. Experiments show that KronLSTM is competitive with, and often outperforms, existing linear attention architectures, including models of the (Gated) DeltaNet family, with particularly strong performance on long context benchmarks. These results establish the Kronecker Delta Rule as an effective and analytically tractable foundation for stable associative memory in recurrent linear attention architectures. Our code (https://github.com/NX-AI/KronLSTM) and models (https://huggingface.co/collections/NX-AI/kronlstm) are open-source.