End-to-End Multi-Person Pose Estimation with Pose-Aware Video Transformer

📄 arXiv: 2511.13208v2 📥 PDF

作者: Yonghui Yu, Jiahang Cai, Xun Wang, Wenwu Yang

分类: cs.CV

发布日期: 2025-11-17 (更新: 2025-12-02)

🔗 代码/项目: GITHUB

💡 一句话要点

提出PAVE-Net，一种端到端姿态感知视频Transformer网络，用于多人视频姿态估计。

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 多人姿态估计 视频姿态估计 端到端学习 Transformer网络 姿态感知注意力

📋 核心要点

  1. 现有方法依赖启发式操作，如检测和NMS，限制了多人视频姿态估计的准确性和效率。
  2. PAVE-Net通过姿态感知Transformer网络，直接建模时空依赖，实现端到端的多人姿态估计。
  3. 实验表明，PAVE-Net在PoseTrack2017上提升6.0 mAP，并在效率上优于两阶段方法。

📝 摘要（中文）

现有的多人视频姿态估计方法通常采用两阶段流程：首先检测每一帧中的个体，然后进行单人姿态估计的时序建模。这种设计依赖于检测、RoI裁剪和非极大值抑制（NMS）等启发式操作，限制了准确性和效率。本文提出了一种完全端到端的框架，用于视频中的多人2D姿态估计，有效地消除了启发式操作。一个关键挑战是在复杂和重叠的时序轨迹下关联跨帧的个体。为了解决这个问题，我们引入了一种新的姿态感知视频Transformer网络（PAVE-Net），它具有一个空间编码器来建模帧内关系，以及一个时空姿态解码器来捕获跨帧的全局依赖关系。为了实现准确的时序关联，我们提出了一种姿态感知注意力机制，使每个姿态查询能够选择性地聚合来自连续帧中相同个体的特征。此外，我们显式地建模姿态关键点之间的时空依赖关系，以提高准确性。值得注意的是，我们的方法是第一个用于多帧2D人体姿态估计的端到端方法。大量实验表明，PAVE-Net显著优于先前的基于图像的端到端方法，在PoseTrack2017上实现了6.0 mAP的改进，并且提供了与最先进的两阶段视频方法具有竞争力的准确性，同时在效率方面实现了显著的提升。

🔬 方法详解

问题定义：论文旨在解决多人视频姿态估计问题，现有方法通常是两阶段的，首先检测每一帧中的人，然后对每个人的姿态进行时序建模。这种方法依赖于启发式操作，例如目标检测、RoI裁剪和非极大值抑制（NMS），这些操作会引入误差，并且效率较低。因此，需要一种端到端的方法来直接从视频中估计多人姿态。

核心思路：论文的核心思路是利用Transformer网络直接建模视频中多人姿态的时空依赖关系。通过引入姿态感知注意力机制，使得网络能够关注到同一人在不同帧之间的姿态特征，从而实现准确的时序关联。同时，显式地建模姿态关键点之间的时空依赖关系，进一步提高姿态估计的准确性。

技术框架：PAVE-Net的整体架构包括一个空间编码器和一个时空姿态解码器。空间编码器用于提取每一帧的特征，时空姿态解码器则利用Transformer网络建模跨帧的全局依赖关系。解码器使用姿态查询（pose query）来定位和估计每个人的姿态。姿态感知注意力机制被集成到解码器中，以实现准确的时序关联。

关键创新：该论文的关键创新在于提出了第一个用于多帧2D人体姿态估计的端到端方法。与现有方法相比，PAVE-Net避免了启发式操作，可以直接从视频中估计多人姿态。姿态感知注意力机制是另一个关键创新，它使得网络能够关注到同一人在不同帧之间的姿态特征，从而实现准确的时序关联。

关键设计：PAVE-Net的关键设计包括：1) 姿态感知注意力机制，它通过计算姿态查询和特征之间的相似度来确定注意力权重；2) 时空姿态解码器，它使用Transformer网络建模跨帧的全局依赖关系；3) 损失函数，用于优化网络的参数，包括姿态估计损失和时序关联损失。具体的网络结构和参数设置在论文中有详细描述。

📊 实验亮点

PAVE-Net在PoseTrack2017数据集上取得了显著的性能提升，相较于先前的基于图像的端到端方法，实现了6.0 mAP的改进。同时，PAVE-Net的性能与最先进的两阶段视频方法具有竞争力，并且在效率方面具有显著优势。这些实验结果表明，PAVE-Net是一种有效的多人视频姿态估计方法。

🎯 应用场景

该研究成果可广泛应用于视频监控、人机交互、运动分析、虚拟现实等领域。例如，在视频监控中，可以用于检测异常行为；在人机交互中，可以用于实现基于姿态的控制；在运动分析中，可以用于评估运动员的表现。未来，该技术有望进一步提升这些应用场景的智能化水平。

📄 摘要（原文）

Existing multi-person video pose estimation methods typically adopt a two-stage pipeline: detecting individuals in each frame, followed by temporal modeling for single person pose estimation. This design relies on heuristic operations such as detection, RoI cropping, and non-maximum suppression (NMS), limiting both accuracy and efficiency. In this paper, we present a fully end-to-end framework for multi-person 2D pose estimation in videos, effectively eliminating heuristic operations. A key challenge is to associate individuals across frames under complex and overlapping temporal trajectories. To address this, we introduce a novel Pose-Aware Video transformEr Network (PAVE-Net), which features a spatial encoder to model intra-frame relations and a spatiotemporal pose decoder to capture global dependencies across frames. To achieve accurate temporal association, we propose a pose-aware attention mechanism that enables each pose query to selectively aggregate features corresponding to the same individual across consecutive frames. Additionally, we explicitly model spatiotemporal dependencies among pose keypoints to improve accuracy. Notably, our approach is the first end-to-end method for multi-frame 2D human pose estimation. Extensive experiments show that PAVE-Net substantially outperforms prior image-based end-to-end methods, achieving a 6.0 mAP improvement on PoseTrack2017, and delivers accuracy competitive with state-of-the-art two-stage video based approaches, while offering significant gains in efficiency. Project page: https://github.com/zgspose/PAVENet.