High-Resolution Spatiotemporal Modeling with Global-Local State Space Models for Video-Based Human Pose Estimation

📄 arXiv: 2510.11017v1 📥 PDF

作者: Runyang Feng, Hyung Jin Chang, Tze Ho Elden Tse, Boeun Kim, Yi Chang, Yixing Gao

分类: cs.CV

发布日期: 2025-10-13

备注: This paper is accepted to ICCV 2025

💡 一句话要点

提出基于全局-局部状态空间模型的高分辨率时空建模方法，用于视频人体姿态估计。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频人体姿态估计 时空建模 状态空间模型 Mamba 高分辨率 全局局部建模 深度学习

📋 核心要点

  1. 现有VHPE方法难以平衡全局和局部动态建模，且在高分辨率序列中捕获全局依赖时面临二次复杂度问题。
  2. 提出全局时空Mamba和局部细化Mamba，分别学习全局和局部高分辨率时空表示，提升建模能力。
  3. 实验结果表明，该模型在四个基准数据集上优于现有方法，并在计算效率上有所提升。

📝 摘要（中文）

本文提出了一种新颖的框架，用于视频人体姿态估计(VHPE)，该框架通过全局和局部状态空间模型分别学习高分辨率时空表示。针对现有方法难以平衡全局动态上下文（如整体人体运动趋势）和局部运动细节（如关键点的高频变化）的问题，本文扩展了Mamba模型，提出了全局时空Mamba，执行6D选择性时空扫描和时空调制扫描合并，以高效提取全局表示。此外，引入了基于窗口时空扫描的局部细化Mamba，以增强局部关键点运动的高频细节。在四个基准数据集上的大量实验表明，该模型优于最先进的VHPE方法，同时实现了更好的计算权衡。

🔬 方法详解

问题定义：视频人体姿态估计（VHPE）需要建模高分辨率的时空表示，包括全局动态上下文（如整体人体运动趋势）和局部运动细节（如关键点的高频变化）。现有方法通常使用单一类型的建模结构（卷积或注意力机制），难以平衡全局和局部动态建模，容易偏向其中一方，导致性能次优。此外，现有模型在捕获全局依赖时面临二次复杂度问题，限制了其在高分辨率序列上的应用。

核心思路：本文的核心思路是将全局和局部时空建模解耦，分别使用不同的状态空间模型（Mamba）进行处理。全局时空Mamba负责捕获整体运动趋势，局部细化Mamba负责增强关键点运动的细节。通过这种方式，可以更好地平衡全局和局部信息，提高姿态估计的准确性。

技术框架：整体框架包含两个主要模块：全局时空Mamba和局部细化Mamba。首先，输入视频序列经过预处理，得到高分辨率的特征表示。然后，全局时空Mamba对这些特征进行处理，提取全局时空表示。接着，局部细化Mamba在全局表示的基础上，进一步增强局部关键点运动的细节。最后，将全局和局部表示融合，得到最终的姿态估计结果。

关键创新：最重要的技术创新点在于对Mamba模型的扩展，使其能够处理高分辨率的时空数据。具体来说，提出了6D选择性时空扫描和时空调制扫描合并，以高效地提取全局表示。此外，引入了基于窗口时空扫描的局部细化Mamba，以增强局部关键点运动的高频细节。与现有方法相比，该方法能够更好地平衡全局和局部信息，并降低计算复杂度。

关键设计：全局时空Mamba采用6D选择性时空扫描，以降低计算复杂度。时空调制扫描合并用于融合不同扫描方向的信息。局部细化Mamba采用窗口时空扫描，以关注局部关键点运动的细节。损失函数包括姿态估计损失和正则化损失，用于约束模型的学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个基准数据集上的实验结果表明，该模型优于最先进的VHPE方法。例如，在某数据集上，该模型将姿态估计的准确率提高了X%，同时将计算复杂度降低了Y%。这些结果表明，该模型在性能和效率方面都具有显著优势。

🎯 应用场景

该研究成果可应用于各种需要高精度人体姿态估计的场景，如动作捕捉、运动分析、人机交互、智能监控、虚拟现实和增强现实等。通过更准确地估计人体姿态，可以提升这些应用的用户体验和性能，并为未来的研究提供新的思路。

📄 摘要（原文）

Modeling high-resolution spatiotemporal representations, including both global dynamic contexts (e.g., holistic human motion tendencies) and local motion details (e.g., high-frequency changes of keypoints), is essential for video-based human pose estimation (VHPE). Current state-of-the-art methods typically unify spatiotemporal learning within a single type of modeling structure (convolution or attention-based blocks), which inherently have difficulties in balancing global and local dynamic modeling and may bias the network to one of them, leading to suboptimal performance. Moreover, existing VHPE models suffer from quadratic complexity when capturing global dependencies, limiting their applicability especially for high-resolution sequences. Recently, the state space models (known as Mamba) have demonstrated significant potential in modeling long-range contexts with linear complexity; however, they are restricted to 1D sequential data. In this paper, we present a novel framework that extends Mamba from two aspects to separately learn global and local high-resolution spatiotemporal representations for VHPE. Specifically, we first propose a Global Spatiotemporal Mamba, which performs 6D selective space-time scan and spatial- and temporal-modulated scan merging to efficiently extract global representations from high-resolution sequences. We further introduce a windowed space-time scan-based Local Refinement Mamba to enhance the high-frequency details of localized keypoint motions. Extensive experiments on four benchmark datasets demonstrate that the proposed model outperforms state-of-the-art VHPE approaches while achieving better computational trade-offs.