AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams
作者: SiRui He, Kai Liang Lew, Chui Zi Ong, Chean Khim Toa
分类: cs.LG
发布日期: 2026-10-02
备注: 11 pages, 6 figures, 8 tables
💡 一句话要点
提出自适应增量门控系统以解决非平稳数据流的在线表示学习问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 在线表示学习 非平稳数据流 自适应增量学习 闭环控制 冲击比率 边缘计算 灾难性遗忘 智能城市
📋 核心要点
- 现有方法在处理非平稳数据流时，面临参数僵化和计算资源浪费的挑战。
- 本文提出自适应增量门控系统（AIGS），通过引入冲击比率实现状态感知的闭环适应。
- 实验结果显示，AIGS在多个真实世界数据集上表现优异，显著提高了早期预警和突变后的恢复速度。
📝 摘要（中文）
在Web of Things和边缘计算环境中，实时数据流常常经历潜在的状态变化。针对在线表示学习中的稳定性与可塑性困境，现有方法存在固定更新调度或滚动窗口的不足，导致在突变时参数僵化，并在稳定时浪费计算资源。本文提出了一种轻量级的自适应增量门控系统（AIGS），引入了冲击比率这一内生反馈机制，驱动连续可塑性控制器在学习可塑性与记忆保留之间平滑插值。通过将表示学习视为闭环控制机制，AIGS避免了灾难性遗忘，并保持了适合延迟敏感边缘设备的线性复杂度。实验证明，AIGS在智能城市动态流中具有显著的领域依赖优势。
🔬 方法详解
问题定义：本文旨在解决在非平稳数据流中进行在线表示学习时的稳定性与可塑性困境。现有方法如固定更新调度和滚动窗口在突变时容易导致参数僵化，而在稳定时又浪费计算资源。
核心思路：AIGS通过引入冲击比率作为内生反馈机制，动态调整学习策略，以平衡历史知识的保留与新知识的快速学习。这样的设计使得系统能够在数据流变化时灵活应对。
技术框架：AIGS的整体架构包括状态感知模块、冲击比率计算模块和连续可塑性控制器。状态感知模块监测当前数据流的变化，冲击比率计算模块提供反馈信号，控制器则根据反馈信号调整学习策略。
关键创新：AIGS的核心创新在于将表示学习视为闭环控制机制，通过冲击比率实现动态适应。这一方法与传统的固定更新策略有本质区别，能够有效避免灾难性遗忘。
关键设计：AIGS的设计中，冲击比率用于规范化当前重构误差与近期变化，控制器则通过平滑插值实现可塑性与记忆的平衡。系统保持了每步线性复杂度$ ext{O}(k imes d)$，适合延迟敏感的边缘设备。具体的参数设置和损失函数设计在实验中经过验证，确保了系统的高效性与稳定性。
🖼️ 关键图片
📊 实验亮点
在电力变压器温度数据集上，AIGS实现了8.31（ETTm1）和9.88（ETTm2）的早期预警提前量，显示出在逐渐退化情况下的优势。在性能测量系统交通数据集上，AIGS在突变后恢复速度显著加快。在天气数据集上，AIGS提高了异常检测的召回率，同时抵抗了随机噪声的过拟合。
🎯 应用场景
AIGS在智能城市、交通网络、气象系统和工业基础设施等领域具有广泛的应用潜力。其轻量级设计使其能够在资源受限的边缘监控系统中有效部署，实时响应数据流的变化，提升监测和预警能力，具有重要的实际价值和未来影响。
📄 摘要（原文）
Real-time data streams in Web of Things (WoT) and edge computing environments often evolve through latent regime changes. For online representation learning under strict computational constraints, the central problem is resolving the stability-plasticity dilemma: keeping useful historical knowledge while rapidly reacting to concept drift. Existing methods employ fixed update schedules or rolling windows. However, they suffer from parameter ossification during sudden shifts and waste computational resources when the stream remains stable. This paper proposes the Adaptive Incremental Gating System (AIGS), a lightweight closed-loop state-aware adaptation framework. AIGS introduces the Shock Ratio, an endogenous residual feedback mechanism that normalizes current reconstruction error against recent variation. This signal drives a Continuous Plasticity Controller that smoothly interpolates between learning plasticity and memory retention. By treating representation learning as a closed-loop control mechanism, AIGS avoids catastrophic forgetting and maintains a strictly linear $\mathcal{O}\left(k\cdot d\right)$ per-step complexity suitable for latency-sensitive edge devices. Experiments on real-world smart city dynamic streams-spanning traffic networks, meteorological systems, and industrial infrastructure-demonstrate distinct domain-dependent advantages. On Electricity Transformer Temperature datasets, AIGS achieves preventative early-warning lead times of 8.31 (ETTm1) and 9.88 (ETTm2) steps under gradual degradation. On Performance Measurement System traffic datasets, it shows significantly faster post-shift recovery after abrupt mutations. On the highly noisy Weather dataset, it improves anomaly recall while resisting stochastic noise overfitting. These findings establish AIGS as a practical, plug-and-play adapter for resource-constrained edge monitoring systems.