SwimXYZ: A large-scale dataset of synthetic swimming motions and videos

📄 arXiv: 2310.04360v1 📥 PDF

作者: Fiche Guénolé, Sevestre Vincent, Gonzalez-Barral Camila, Leglaive Simon, Séguier Renaud

分类: cs.CV, cs.GR

发布日期: 2023-10-06

备注: ACM MIG 2023

DOI: 10.1145/3623264.3624440

💡 一句话要点

提出SwimXYZ以解决游泳视频数据集不足问题

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 游泳动作分析 合成数据集 计算机视觉 运动捕捉 姿态估计 数据标注

📋 核心要点

  1. 现有的运动捕捉技术在游泳等水下运动中表现不佳，主要由于缺乏足够的标注数据集。
  2. 本文提出SwimXYZ数据集，通过合成游泳动作和视频，提供340万帧的标注数据以支持研究。
  3. SwimXYZ在游泳动作聚类和2D姿态估计等任务中表现出色，展示了其实际应用潜力。

📝 摘要（中文）

技术在体育领域的应用日益重要，运动捕捉技术正在多种运动中得到应用以优化运动表现。然而，传统的运动捕捉系统昂贵且受限，基于计算机视觉的方法在游泳等水下运动中也面临挑战，主要原因在于缺乏标注的游泳视频数据集。为了解决这一问题，本文提出了SwimXYZ，一个合成的游泳动作和视频数据集。SwimXYZ包含340万帧的标注数据，提供了2D和3D关节的真实值，以及240个以SMPL参数格式表示的游泳动作序列。除了公开该数据集外，本文还展示了SwimXYZ在游泳动作聚类和2D姿态估计中的应用案例。

🔬 方法详解

问题定义：本文旨在解决游泳运动中缺乏标注视频数据集的问题。现有的运动捕捉技术在水下环境中表现不佳，限制了相关研究的发展。

核心思路：通过合成生成游泳动作和视频，构建一个大规模的标注数据集SwimXYZ，以支持计算机视觉和运动分析的研究。

技术框架：SwimXYZ数据集的构建包括数据合成、标注和格式化三个主要阶段。数据合成使用计算机图形学技术生成游泳动作，标注则提供了2D和3D关节信息。

关键创新：SwimXYZ的最大创新在于其合成数据的规模和质量，填补了游泳领域数据集的空白，与传统的运动捕捉方法相比，具有更高的灵活性和可扩展性。

关键设计：数据集包含340万帧的标注数据，使用SMPL参数格式表示游泳动作，确保了数据的准确性和可用性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在游泳动作聚类和2D姿态估计的实验中，SwimXYZ展示了显著的性能提升，具体数据尚未披露，但其340万帧的标注数据为相关研究提供了强有力的支持。

🎯 应用场景

SwimXYZ数据集的潜在应用领域包括运动科学、计算机视觉和人工智能等。它可以用于游泳动作分析、运动训练优化以及相关算法的开发，具有重要的实际价值和未来影响。

📄 摘要（原文）

Technologies play an increasingly important role in sports and become a real competitive advantage for the athletes who benefit from it. Among them, the use of motion capture is developing in various sports to optimize sporting gestures. Unfortunately, traditional motion capture systems are expensive and constraining. Recently developed computer vision-based approaches also struggle in certain sports, like swimming, due to the aquatic environment. One of the reasons for the gap in performance is the lack of labeled datasets with swimming videos. In an attempt to address this issue, we introduce SwimXYZ, a synthetic dataset of swimming motions and videos. SwimXYZ contains 3.4 million frames annotated with ground truth 2D and 3D joints, as well as 240 sequences of swimming motions in the SMPL parameters format. In addition to making this dataset publicly available, we present use cases for SwimXYZ in swimming stroke clustering and 2D pose estimation.