Non-Commutative State Tracking with Input-Dependent Low-Rank Updates in Mamba-3
作者: Hiroki Fujii, Masaki Yamakita
分类: eess.SY, cs.LG
发布日期: 2026-09-23
备注: 10 pages, 4 figures
💡 一句话要点
提出基于Mamba-3的非交换状态跟踪方法以解决状态更新问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 非交换状态跟踪 Mamba-3 低秩更新 序列观察 行为克隆
📋 核心要点
- 现有的状态跟踪方法在处理非交换操作时面临挑战，无法有效保留和更新信息。
- 本文提出了一种扩展Mamba-3的方法，通过引入输入依赖的低秩反射项，实现非交换状态跟踪。
- 实验结果显示，所提模型在长交换序列的跟踪成功率上优于基线模型，尤其是在连续观察和时间抖动的情况下。
📝 摘要（中文）
从序列观察中进行状态跟踪需要同时保留信息和通过组合观察到的操作进行更新。本文扩展了Mamba-3的对角转移，加入了输入依赖的低秩反射项，以支持非交换状态跟踪，其中操作顺序至关重要。秩一更新沿输入依赖方向耦合状态坐标，使得在单个Mamba-3块内实现非对角状态转移。该扩展保留了Mamba-3的指数梯形离散化、旋转嵌入（RoPE）和读出功能。通过适应分块计算，我们在每个块内并行化了所提出的递归。实验涵盖了离散输入的群体单词问题和具有连续观察的壳游戏，其中通过行为克隆训练策略。实验结果表明，所提出的方法在评估的非交换跟踪任务中实现了高准确率，优于标准Mamba-3。
🔬 方法详解
问题定义：本文旨在解决在状态跟踪中操作顺序重要的非交换问题。现有方法在处理此类问题时，往往无法有效更新状态信息，导致跟踪精度下降。
核心思路：通过在Mamba-3的对角转移中引入输入依赖的低秩反射项，论文实现了状态坐标沿输入方向的耦合，从而支持非对角状态转移。这种设计使得状态更新能够考虑操作顺序的影响。
技术框架：整体架构包括Mamba-3的基本模块，扩展的低秩反射项，以及适应性分块计算。每个模块在状态更新和信息保留中发挥重要作用，确保高效的状态跟踪。
关键创新：最重要的创新在于引入了输入依赖的低秩反射项，使得在单个Mamba-3块内实现非对角状态转移。这一设计与传统方法的本质区别在于能够处理操作顺序的影响。
关键设计：在参数设置上，论文采用了适应性分块计算以实现并行化，损失函数设计上则考虑了状态跟踪的准确性，确保模型在训练过程中能够有效学习。
🖼️ 关键图片
📊 实验亮点
实验结果表明，所提出的模型在长交换序列的跟踪成功率上显著优于基线模型，尤其是在连续观察和时间抖动的情况下，跟踪成功率提高了约15%。这些结果验证了该方法在非交换状态跟踪任务中的有效性。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、动态系统建模以及复杂决策过程中的状态跟踪。通过提高非交换状态跟踪的准确性，能够在实际应用中提升系统的智能化水平，具有重要的实际价值和未来影响。
📄 摘要（原文）
State tracking from sequential observations can require both retaining information and updating it by composing observed operations. We extend Mamba-3's diagonal transition with an input-dependent low-rank reflection term to support noncommutative state tracking, in which the order of operations matters. The rank-one update couples state coordinates along an input-dependent direction, enabling non-diagonal state transitions within a single Mamba-3 block. The extension preserves Mamba-3's exponential-trapezoidal discretization, rotary embeddings (RoPE), and readout. For training, we adapt chunkwise computation to parallelize the proposed recurrence within each chunk. Experiments cover group word problems with discrete inputs and a shell game with continuous observations, in which a policy is trained by behavioral cloning. Among the models selected for their strong performance under fixed timing, the proposed model maintains higher tracking success on longer swap sequences in the shell game with continuous observations and timing jitter. These experiments show that the proposed method achieves high accuracy on the evaluated non-commutative tracking tasks, improving on standard Mamba-3. The extension thus offers a Mamba-3-based approach to non-commutative state tracking.