Naju: A Native Discrete State-Space Model with Independent Retention and Writing for Long-Sequence Memory

📄 arXiv: 2607.21000v1 📥 PDF

作者: Hyuk Lim, Seunghyun Yoon

分类: cs.AI

发布日期: 2026-07-23

💡 一句话要点

提出Naju模型以解决长序列记忆跟踪问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 长序列记忆 状态空间模型 记忆跟踪 自然语言处理 模型优化 深度学习 长程依赖 数据分析

📋 核心要点

  1. 现有的长序列记忆模型在保留存储信息与覆盖过时信息之间存在矛盾，难以同时优化。
  2. Naju模型通过直接参数化离散转移，分解递归更新为显式的遗忘门和独立的写入增益，从而解决了这一矛盾。
  3. 在多个基准测试中，Naju在长序列记忆保持和写入能力上均表现优异，超越了Mamba模型，并与Transformer模型相当。

📝 摘要（中文）

长序列记忆跟踪面临两个对立的需求：在长时间范围内近乎无损地保留存储绑定，以及主动覆盖过时的绑定。现有的连续时间参数化状态空间模型（如Mamba）通常只能在这两个方面之一表现良好。Naju（Native Adaptive Junction Unit）通过直接参数化离散转移，因而在记忆跟踪中避免了不必要的复杂性。Naju模型通过显式的离散极点、独立的写入增益和输入依赖的读写映射来分解递归更新，确保了在没有稳定性正则化的情况下，模型在长时间范围内的记忆保持和写入能力均表现出色。实验证明，Naju在多个任务中均优于Mamba基线，并与Transformer模型竞争，保持线性时间和线性内存的扩展性。

🔬 方法详解

问题定义：论文旨在解决长序列记忆跟踪中保留与覆盖之间的矛盾，现有方法往往只能在这两者中表现良好之一。

核心思路：Naju模型通过直接参数化离散转移，分解递归更新为显式的遗忘门和独立的写入增益，消除了保留与写入之间的约束。

技术框架：Naju的整体架构包括三个主要模块：显式的遗忘门（f_n）、独立的写入增益（i_n）和输入依赖的读写映射，确保了模型的稳定性和有效性。

关键创新：Naju的主要创新在于将遗忘门与写入增益解耦，避免了传统模型中保留与写入之间的限制，使得模型在长序列记忆跟踪中表现出色。

关键设计：Naju使用了学习的遗忘门f_n，确保其在0到1之间，保证了局部坐标的Schur稳定性。此外，模型在训练过程中没有使用稳定性正则化，依赖于均匀有界假设来维持性能。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在多个基准测试中，Naju模型在长序列记忆保持和写入能力上均表现优异，超越了Mamba模型，并在WikiText-103语言建模和Long Range Arena等任务中展现出竞争力，保持线性时间和线性内存的扩展性。

🎯 应用场景

Naju模型在自然语言处理、长序列数据分析和多查询关联记忆等领域具有广泛的应用潜力。其优越的长序列记忆能力使其适合用于语言建模、文本生成和复杂数据的实时处理，未来可能推动相关领域的技术进步。

📄 摘要（原文）

Long-sequence memory tracking places two opposing demands on a recurrent state: near-lossless retention of stored bindings over long horizons, and active overwriting of stale ones. In our diagnostic suite, the strongest efficient baselines tend to solve only one side well. Continuous-time-parameterized state-space models (SSMs) such as Mamba obtain their discrete recurrence by zero-order-hold discretization of a continuous-time system; we argue that this detour is unnecessary for memory tracking and parameterize the discrete transition directly. Naju (Native Adaptive Junction Unit) factorizes the recurrent update, schematically $x_n = f_n\odot x_{n-1} + i_n\odot(B_n u_n)$, into an explicit discrete pole (a learned forget gate $f_n$), an independent write gain $i_n$, and input-dependent write/read maps. Since the sigmoid pole satisfies $0<f_n<1$, each frozen local coordinate is Schur-stable by construction, and the full time-varying recurrence satisfies a fading-memory/BIBO bound under uniform boundedness assumptions, with no stability regularizer. We formalize the key structural limitation of coupled designs: any non-expansive complementary single-gate recurrence ties the effective retention $r$ and write gain $w$ through $|r|+w\le 1$, so near-complete retention forces weak writing; decoupling $f_n$ from $i_n$ removes this constraint. Empirically, Naju is the only evaluated model that remains strong on both retention and overwriting at 4x the training length. Beyond the diagnostic suite, we evaluate Naju on WikiText-103 language modeling, Long Range Arena, and multi-query associative recall. Across these settings, Naju consistently combines strong long-range memory with competitive or superior performance, outperforming the Mamba baselines in the principal comparisons while remaining competitive with the Transformer and preserving linear-time, linear-memory scaling.