BabyMamba-HAR: Lightweight Selective State Space Models for Efficient Human Activity Recognition on Resource Constrained Devices

📄 arXiv: 2602.09872v1 📥 PDF

作者: Mridankan Mandal

分类: cs.CV, cs.HC

发布日期: 2026-02-10

💡 一句话要点

提出BabyMamba-HAR以解决资源受限设备上的人类活动识别问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 人类活动识别 选择性状态空间模型 轻量级架构 TinyML 资源受限设备 计算复杂度优化 双向扫描 时间注意力池化

📋 核心要点

  1. 现有的人类活动识别方法在资源受限设备上面临内存和计算预算的挑战，难以保持准确性。
  2. 论文提出了BabyMamba-HAR框架，包含CI-BabyMamba-HAR和Crossover-BiDir-BabyMamba-HAR两种轻量级架构，优化了传感器通道处理。
  3. 实验结果显示，Crossover-BiDir-BabyMamba-HAR在多个基准上达到了86.52%的F1分数，且在高通道数据集上显著减少了计算复杂度。

📝 摘要（中文）

在可穿戴和移动设备上进行人类活动识别（HAR）受到内存占用和计算预算的限制，同时必须在异构传感器配置中保持竞争性准确性。选择性状态空间模型（SSMs）提供了线性时间序列处理和输入依赖的门控机制，成为二次复杂度注意力机制的有力替代。然而，在TinyML环境中部署SSMs的设计空间尚未得到充分探索。本文提出了BabyMamba-HAR框架，包含两种新颖的轻量级Mamba启发架构，优化了资源受限的HAR：CI-BabyMamba-HAR和Crossover-BiDir-BabyMamba-HAR。通过在八个不同基准上的评估，Crossover-BiDir-BabyMamba-HAR达到了86.52%的平均宏F1分数，参数约为27K，MACs为2.21M，且在高通道数据集上比TinyHAR减少了11倍的MACs。

🔬 方法详解

问题定义：本文旨在解决在资源受限设备上进行人类活动识别时，内存占用和计算预算的限制问题。现有方法通常依赖于复杂的注意力机制，导致计算复杂度过高，难以在低资源环境中应用。

核心思路：论文提出的BabyMamba-HAR框架通过选择性状态空间模型（SSMs）实现线性时间序列处理，采用输入依赖的门控机制，旨在降低计算复杂度并提高识别准确性。

技术框架：BabyMamba-HAR框架包括两个主要模块：CI-BabyMamba-HAR和Crossover-BiDir-BabyMamba-HAR。前者使用通道独立的处理方法，后者则通过早期融合实现通道数量独立的计算复杂度。两个模块均采用权重绑定的双向扫描和轻量级时间注意力池化。

关键创新：最重要的创新点在于提出了轻量级的Mamba启发架构，尤其是Crossover-BiDir-BabyMamba-HAR在高通道数据集上显著减少了计算复杂度，且保持了较高的识别准确性。

关键设计：在设计中，CI-BabyMamba-HAR通过共享权重和实例独立的变换来防止通道间噪声传播，而Crossover-BiDir-BabyMamba-HAR则通过早期融合实现计算复杂度的优化。实验表明，双向扫描和门控时间注意力分别提升了F1分数8.42%和8.94%。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Crossover-BiDir-BabyMamba-HAR在八个基准上达到了86.52%的平均宏F1分数，参数量约为27K，计算复杂度为2.21M MACs，相较于TinyHAR（86.16%）在高通道数据集上减少了11倍的MACs。双向扫描和门控时间注意力分别带来了8.42%和8.94%的F1分数提升。

🎯 应用场景

该研究的潜在应用领域包括智能家居监控、健康监测和运动分析等，能够在资源受限的可穿戴设备上实现高效的人类活动识别。未来，该框架有望推动TinyML技术在实际场景中的广泛应用，提升用户体验和设备智能化水平。

📄 摘要（原文）

Human activity recognition (HAR) on wearable and mobile devices is constrained by memory footprint and computational budget, yet competitive accuracy must be maintained across heterogeneous sensor configurations. Selective state space models (SSMs) offer linear time sequence processing with input dependent gating, presenting a compelling alternative to quadratic complexity attention mechanisms. However, the design space for deploying SSMs in the TinyML regime remains largely unexplored. In this paper, BabyMamba-HAR is introduced, a framework comprising two novel lightweight Mamba inspired architectures optimized for resource constrained HAR: (1) CI-BabyMamba-HAR, using a channel independent stem that processes each sensor channel through shared weight, but instance independent transformations to prevent cross channel noise propagation, and (2) Crossover-BiDir-BabyMamba-HAR, using an early fusion stem that achieves channel count independent computational complexity. Both variants incorporate weight tied bidirectional scanning and lightweight temporal attention pooling. Through evaluation across eight diverse benchmarks, it is demonstrated that Crossover-BiDir-BabyMamba-HAR achieves 86.52% average macro F1-score with approximately 27K parameters and 2.21M MACs, matching TinyHAR (86.16%) while requiring 11x fewer MACs on high channel datasets. Systematic ablation studies reveal that bidirectional scanning contributes up to 8.42% F1-score improvement, and gated temporal attention provides up to 8.94% F1-score gain over mean pooling. These findings establish practical design principles for deploying selective state space models as efficient TinyML backbones for HAR.