Local Spatiotemporal Convolutional Network for Robust Gait Recognition

📄 arXiv: 2605.14548v1 📥 PDF

作者: Xiaoyun Wang, Cunrong Li, Wu Wang

分类: cs.CV

发布日期: 2026-05-14

💡 一句话要点

提出局部时空卷积网络LSTCN，用于解决步态识别中运动模式提取难题。

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 步态识别 时空卷积网络 生物特征识别 运动模式提取 深度学习

📋 核心要点

  1. 步态识别面临视频数据复杂性和外部因素干扰，难以有效提取内在运动模式。
  2. LSTCN通过全局双向空间池化和局部时空卷积层，使2D卷积网络具备时空信息提取能力。
  3. LSTCN结构简单且高效，能自适应学习步态运动模式，并使用非对称卷积核丰富特征表示。

📝 摘要（中文）

步态识别作为一种有前景的生物识别技术，通过独特的行走模式识别个体，具有非侵入性、远距离适用性和抵抗伪装等优点。然而，由于视频数据的复杂性以及视角变化、服装变化和携带条件等外部因素的干扰，捕获连续视频帧中隐藏的内在运动模式仍然具有挑战性。现有方法主要依赖于从单个轮廓帧中提取的静态外观特征，或采用复杂的序列模型（例如，LSTM、3D卷积），这些模型需要大量的计算资源和复杂的训练策略。为了解决这些限制，我们提出了一种局部时空卷积网络（LSTCN），这是一种结构简单但非常有效的双分支架构，使标准的二维卷积网络能够提取时间信息。具体来说，我们引入了一种全局双向空间池化（GBSP）机制，该机制通过将空间特征分解为水平和垂直条带状局部表示来降低步态张量的维度，从而使时间维度能够参与标准的2D卷积运算。在此基础上，我们设计了一个局部时空卷积（LSTC）层，该层联合处理时间和空间维度，使网络能够自适应地学习基于条带的步态运动模式。我们进一步使用非对称卷积核扩展了这种公式，该卷积核独立地关注时间、空间和联合时空域，从而丰富了提取的特征表示。

🔬 方法详解

问题定义：步态识别旨在通过分析个体的行走模式来识别身份。现有方法要么依赖于静态外观特征，忽略了时序信息；要么使用复杂的序列模型（如LSTM或3D卷积），计算成本高昂且训练复杂。因此，如何在计算资源有限的情况下，有效提取步态视频中的时空运动模式是一个关键问题。

核心思路：LSTCN的核心思路是将时间信息融入到标准的2D卷积网络中，使其能够同时处理空间和时间维度。通过全局双向空间池化（GBSP）降低空间维度，使得时间维度可以参与到2D卷积运算中。然后，设计局部时空卷积（LSTC）层，联合处理时间和空间维度，自适应地学习步态运动模式。

技术框架：LSTCN是一个双分支架构。首先，输入步态序列经过GBSP处理，降低空间维度。然后，两个分支分别使用LSTC层提取特征。LSTC层由多个卷积块组成，每个卷积块包含卷积层、批归一化层和激活函数。最后，将两个分支的特征进行融合，并使用全连接层进行分类。

关键创新：LSTCN的关键创新在于GBSP和LSTC层的设计。GBSP通过分解空间特征，使得时间维度可以参与到2D卷积运算中，从而实现了时空信息的融合。LSTC层则通过联合处理时间和空间维度，自适应地学习步态运动模式。此外，非对称卷积核的使用进一步丰富了特征表示。

关键设计：GBSP将空间特征分解为水平和垂直条带状局部表示，具体实现方式未知。LSTC层中的卷积核大小和数量是重要的超参数，需要根据具体数据集进行调整。非对称卷积核的设计允许网络独立地关注时间、空间和联合时空域，具体实现方式未知。

📊 实验亮点

论文提出了LSTCN，一种结构简单但有效的步态识别方法。LSTCN在多个公开数据集上取得了有竞争力的结果，表明其能够有效提取步态视频中的时空运动模式。具体的性能数据和对比基线未知。

🎯 应用场景

LSTCN可应用于智能安防、智慧医疗、人机交互等领域。例如，在安防领域，可以用于远距离身份识别和异常行为检测；在医疗领域，可以用于步态分析和疾病诊断；在人机交互领域，可以用于步态控制和虚拟现实。

📄 摘要（原文）

Gait recognition, as a promising biometric technology, identifies individuals through their unique walking patterns and offers distinctive advantages including non-invasiveness, long-range applicability, and resistance to deliberate disguise. Despite these merits, capturing the intrinsic motion patterns concealed within consecutive video frames remains challenging due to the complexity of video data and the interference of external covariates such as viewpoint changes, clothing variations, and carrying conditions. Existing approaches predominantly rely on either static appearance features extracted from individual silhouette frames or employ complex sequential models (\eg, LSTM, 3D convolutions) that demand substantial computational resources and sophisticated training strategies. To address these limitations, we propose a Local Spatiotemporal Convolutional Network (LSTCN), a structurally simple yet highly effective dual-branch architecture that endows standard two-dimensional convolutional networks with the capacity to extract temporal information. Specifically, we introduce a Global Bidirectional Spatial Pooling (GBSP) mechanism that reduces the dimensionality of gait tensors by decomposing spatial features into horizontal and vertical strip-based local representations, enabling the temporal dimension to participate in standard 2D convolution operations. Building upon this, we design a Local Spatiotemporal Convolutional (LSTC) layer that jointly processes temporal and spatial dimensions, allowing the network to adaptively learn strip-based gait motion patterns. We further extend this formulation with asymmetric convolution kernels that independently attend to the temporal, spatial, and joint spatiotemporal domains, thereby enriching the extracted feature representations.