Black-Mamba: Biologically-Inspired Leaky Accumulation for Conceptual Knowledge under Distribution Drift
作者: Giuseppe Soriano, Nicola Tonellotto, Alberto Gotta
分类: cs.AI
发布日期: 2026-07-21
💡 一句话要点
提出Black-Mamba以解决非平稳条件下的预测适应问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 非平稳预测 自适应模型 动态记忆 证据门控 状态跟踪 机器学习 时间序列分析
📋 核心要点
- 核心问题：现有的自适应序列模型在处理非平稳分布时，容易将持续的分布漂移与随机噪声混淆，导致不必要的更新。
- 方法要点：Black-Mamba通过证据门控的动态记忆更新机制，将适应过程转变为选择性、事件驱动的方式，而非持续更新。
- 实验或效果：在多个非平稳动态的预测基准上，Black-Mamba的预测性能与现有方法相比具有竞争力，并显著减少了记忆更新次数。
📝 摘要（中文）
在现实世界中，预测任务通常面临非平稳性，因为未来观测的条件分布会随时间变化。现有的测试时自适应序列模型通过在推理过程中更新内部状态来应对这一挑战，但这种适应往往与瞬时预测误差或惊讶感相结合，可能导致不必要的更新和低效的适应。本文提出了Black-Mamba，一种将在线适应形式化为在分布漂移下的证据门控状态跟踪的测试时自适应预测架构。该模型通过动态记忆增强基础预测器，当时间上累积的惊讶感提供足够的证据表明状态变化时更新记忆。通过多个具有非平稳动态的预测基准，Black-Mamba在预测性能上与现有方法相比具有竞争力或更好的表现，同时显著减少了推理过程中的记忆更新次数。
🔬 方法详解
问题定义：本文旨在解决在非平稳条件下的预测适应问题。现有方法通常将适应与瞬时预测误差相结合，导致对持续分布漂移和随机噪声的混淆，进而引发不必要的模型更新和低效适应。
核心思路：Black-Mamba的核心思路是通过证据门控机制来动态更新记忆，仅在累积的惊讶感提供足够证据时才进行状态更新。这种设计使得适应过程变得更加高效和有针对性。
技术框架：Black-Mamba的整体架构包括基础预测器和动态记忆模块。基础预测器负责初步的预测，而动态记忆模块则在检测到显著的状态变化时更新其内容。
关键创新：Black-Mamba的主要创新在于将适应过程转变为事件驱动的机制，避免了传统方法中的持续更新，从而提高了适应的效率和鲁棒性。
关键设计：在设计上，Black-Mamba采用了动态记忆更新策略，结合了累积的惊讶感作为更新的触发信号，确保了模型在面对分布漂移时的有效性。
🖼️ 关键图片
📊 实验亮点
在多个非平稳动态的预测基准上，Black-Mamba的预测性能与现有自适应方法相比，表现出竞争力或更好的结果，同时在推理过程中显著减少了记忆更新次数，提升了适应效率。
🎯 应用场景
该研究的潜在应用领域包括金融市场预测、气候变化建模和智能交通系统等。在这些领域，数据分布的非平稳性是常见挑战，Black-Mamba的高效适应能力能够显著提升预测的准确性和可靠性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Forecasting under real-world conditions is inherently non-stationary, as the conditional distribution of future observations evolves over time. Recent test-time adaptive sequence models address this challenge by updating internal states during inference, but tie adaptation to instantaneous prediction errors or surprise. This coupling can conflate persistent distribution shift with stochastic innovations, leading to unnecessary updates and inefficient adaptation. We introduce Black-Mamba, a test-time adaptive forecasting architecture that formulates online adaptation as evidence-gated state tracking under distribution drift. The model augments a base predictor with a dynamic memory updated when temporally accumulated surprisal provides sufficient evidence of a regime change. This turns adaptation into a selective, event-driven process rather than a continuous one. Across multiple forecasting benchmarks with non-stationary dynamics, Black-Mamba achieves competitive or improved predictive performance compared to existing test-time adaptation methods while significantly reducing the number of memory updates during inference. Together with mathematical analysis and biological evidence, these results suggest that accumulated surprisal provides a principled signal for distinguishing persistent drift from transient noise, yielding more efficient and robust adaptation.