MS-Temba: Multi-Scale Temporal Mamba for Understanding Long Untrimmed Videos

📄 arXiv: 2501.06138v3 📥 PDF

作者: Arkaprava Sinha, Monish Soundar Raj, Pu Wang, Ahmed Helmy, Hieu Le, Srijan Das

分类: cs.CV

发布日期: 2025-01-10 (更新: 2025-12-17)

💡 一句话要点

提出MS-Temba，利用多尺度时间Mamba模型解决长未分割视频中的时间动作检测问题。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 时间动作检测 长视频理解 Mamba模型 多尺度学习 状态空间模型

📋 核心要点

  1. 现有方法难以处理长时视频，无法同时捕捉细粒度细节和长程结构，对时间动作检测构成挑战。
  2. MS-Temba通过引入扩张的SSM，在不同时间尺度上学习判别性表示，并使用Mamba融合器聚合特征。
  3. MS-Temba仅用17M参数，在TSU、Charades等数据集上取得SOTA，并推广到长视频摘要任务。

📝 摘要（中文）

本文针对未分割视频中的时间动作检测（TAD）问题，特别是日常活动（ADL）场景，现有方法难以同时捕捉细粒度细节和长程结构。为此，我们提出了多尺度时间Mamba（MS-Temba），通过引入扩张的SSM扩展了Mamba模型。每个Temba块包含扩张的SSM以及我们提出的额外损失，从而能够在不同时间尺度上学习判别性表示。一个轻量级的多尺度Mamba融合器通过基于SSM的聚合统一这些多尺度特征，从而实现精确的动作边界定位。MS-Temba仅使用17M参数，在密集标注的ADL基准测试TSU和Charades上实现了最先进的性能，并进一步推广到长视频摘要，在TVSum和SumMe上取得了新的最先进结果。

🔬 方法详解

问题定义：论文旨在解决长未分割视频中的时间动作检测（TAD）问题，尤其是在日常活动（ADL）场景下。现有基于CNN和Transformer的方法难以同时捕捉细粒度的时间细节和长程依赖关系，导致动作边界定位不准确，无法有效处理密集重叠的动作。

核心思路：论文的核心思路是利用Mamba模型强大的长程建模能力，并针对TAD任务的特点进行改进。通过引入多尺度的时间建模，使模型能够同时关注不同时间尺度上的信息，从而更好地捕捉动作的temporal variations，并提高动作边界定位的准确性。

技术框架：MS-Temba的整体框架包括以下几个主要模块：首先，输入视频被分割成一系列的片段特征。然后，这些特征被输入到多个Temba块中，每个Temba块包含多个扩张的SSM，用于在不同的时间尺度上学习特征表示。接下来，一个多尺度Mamba融合器将这些多尺度特征进行聚合，生成最终的特征表示。最后，一个分类器和回归器基于最终的特征表示进行动作分类和边界定位。

关键创新：MS-Temba的关键创新在于以下几点：1) 引入了扩张的SSM，使其能够处理不同时间尺度的信息。2) 提出了Temba块，将扩张的SSM与额外的损失函数相结合，从而能够学习更具判别性的特征表示。3) 设计了一个轻量级的多尺度Mamba融合器，用于有效地聚合多尺度特征。

关键设计：Temba块是MS-Temba的核心组件，它包含多个扩张的SSM，每个SSM对应一个特定的时间尺度。扩张率的选择是一个关键的设计参数，它决定了每个SSM能够捕捉的时间范围。此外，论文还提出了额外的损失函数，用于约束Temba块学习到的特征表示。多尺度Mamba融合器使用一个基于SSM的聚合机制，将不同时间尺度的特征进行融合。该融合器的参数量较小，可以有效地避免过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MS-Temba在TSU和Charades数据集上取得了state-of-the-art的性能，超越了现有的CNN和Transformer方法。例如，在Charades数据集上，MS-Temba的mAP达到了X%，相比之前的最佳方法提升了Y%。此外，MS-Temba还成功地应用于长视频摘要任务，并在TVSum和SumMe数据集上取得了新的SOTA结果，证明了其良好的泛化能力。

🎯 应用场景

MS-Temba在视频监控、智能家居、医疗健康等领域具有广泛的应用前景。例如，可以用于自动识别监控视频中的异常行为，帮助老年人进行跌倒检测，或者分析手术视频中的关键步骤。该研究有助于提升机器对长时视频的理解能力，为开发更智能的视频分析系统奠定基础。

📄 摘要（原文）

Temporal Action Detection (TAD) in untrimmed videos poses significant challenges, particularly for Activities of Daily Living (ADL) requiring models to (1) process long-duration videos, (2) capture temporal variations in actions, and (3) simultaneously detect dense overlapping actions. Existing CNN and Transformer-based approaches, struggle to jointly capture fine-grained detail and long-range structure at scale. State-space Model (SSM) based Mamba offers powerful long-range modeling, but naive application to TAD collapses fine-grained temporal structure and fails to account for the challenges inherent to TAD. To this end, we propose Multi-Scale Temporal Mamba (MS-Temba), which extends Mamba to TAD with newly introduced dilated SSMs. Each Temba block, comprising dilated SSMs coupled with our proposed additional losses, enables the learning of discriminative representations across temporal scales. A lightweight Multi-scale Mamba Fuser then unifies these multi-scale features via SSM-based aggregation, yielding precise action-boundary localization. With only 17M parameters, MS-Temba achieves state-of-the-art performance on densely labeled ADL benchmarks TSU & Charades, and further generalizes to long-form video summarization, setting new state-of-the-art results on TVSum & SumMe.