Velocity and stroke rate reconstruction of canoe sprint team boats based on panned and zoomed video recordings

📄 arXiv: 2602.22941v1 📥 PDF

作者: Julian Ziegler, Daniel Matthes, Finn Gerdts, Patrick Frenzel, Torsten Warnke, Matthias Englert, Tina Koevari, Mirco Fuchs

分类: cs.CV

发布日期: 2026-02-26

💡 一句话要点

提出基于平移缩放视频的皮划艇速度和划桨频率重建框架，无需船载传感器。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 皮划艇 视频分析 目标检测 运动跟踪 速度估计

📋 核心要点

  1. 现有皮划艇速度和划桨频率分析依赖GPS，但成本高且不便，视频分析则受限于平移缩放带来的挑战。
  2. 该论文提出一种基于YOLOv8和光流的自动化视频分析框架，通过浮标定位和U-Net船头校准实现精确跟踪。
  3. 实验表明，该方法在速度和划桨频率重建方面达到了与GPS相当的精度，为教练提供便捷的反馈。

📝 摘要（中文）

本文提出了一个扩展框架，用于从平移和缩放的视频记录中重建所有冲刺项目（K1-K4，C1-C2）和距离（200米-500米）的性能指标，如速度和划桨频率，这对于皮划艇冲刺中的最佳表现至关重要。虽然GPS是分析的金标准，但其可用性有限，因此需要自动化的视频解决方案。该方法利用YOLOv8进行浮标和运动员检测，并利用已知的浮标网格来估计单应性矩阵。通过学习基于U-net的船头校准的特定于船只的运动员偏移来推广船只位置的估计。此外，我们实现了一种使用光流的鲁棒跟踪方案，以适应多运动员船型。最后，我们引入了从姿势估计或运动员边界框本身提取划桨频率信息的方法。针对精英比赛的GPS数据进行的评估显示，速度的RRMSE为0.020 +- 0.011（rho = 0.956），划桨频率的RRMSE为0.022 +- 0.024（rho = 0.932）。该方法为教练提供了高度准确的自动化反馈，无需船载传感器或手动注释。

🔬 方法详解

问题定义：该论文旨在解决皮划艇冲刺运动中，利用视频分析自动、准确地重建运动员的速度和划桨频率的问题。现有方法要么依赖昂贵的GPS设备，要么需要大量的人工标注，并且难以处理平移和缩放的视频。因此，需要一种能够从普通的平移缩放视频中自动提取运动参数的方法。

核心思路：论文的核心思路是利用计算机视觉技术，从视频中自动检测和跟踪运动员和浮标，并结合已知的浮标位置信息，估计视频的单应性变换，从而将视频坐标转换为世界坐标。此外，通过学习船只的运动员偏移，可以更准确地估计船只的位置。最后，利用光流法进行鲁棒的跟踪，并从姿态估计或运动员边界框中提取划桨频率信息。

技术框架：整体框架包括以下几个主要模块：1) 使用YOLOv8进行浮标和运动员检测；2) 利用浮标网格估计单应性矩阵；3) 使用U-Net学习船只的运动员偏移，进行船头校准；4) 使用光流法进行鲁棒的跟踪；5) 从姿态估计或运动员边界框中提取划桨频率信息。

关键创新：该论文的关键创新在于：1) 提出了一种基于U-Net的船头校准方法，可以更准确地估计船只的位置；2) 实现了一种使用光流的鲁棒跟踪方案，可以适应多运动员船型；3) 提出了一种从姿态估计或运动员边界框中提取划桨频率信息的方法，无需额外的传感器。

关键设计：U-Net用于学习船只的运动员偏移，其输入是运动员的边界框，输出是船头的位置。光流法使用稀疏光流，以减少计算量。划桨频率的提取可以基于姿态估计，也可以直接基于运动员的边界框，具体取决于视频的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在精英比赛的GPS数据上进行了评估，结果表明，速度的RRMSE为0.020 +- 0.011（rho = 0.956），划桨频率的RRMSE为0.022 +- 0.024（rho = 0.932）。这些结果表明，该方法在速度和划桨频率重建方面达到了与GPS相当的精度，且无需船载传感器或手动标注。

🎯 应用场景

该研究成果可应用于皮划艇训练和比赛分析，为教练员提供运动员速度、划桨频率等关键指标的实时反馈，辅助制定更科学的训练计划和战术策略。此外，该方法也可推广到其他运动项目的视频分析中，例如赛艇、游泳等。

📄 摘要（原文）

Pacing strategies, defined by velocity and stroke rate profiles, are essential for peak performance in canoe sprint. While GPS is the gold standard for analysis, its limited availability necessitates automated video-based solutions. This paper presents an extended framework for reconstructing performance metrics from panned and zoomed video recordings across all sprint disciplines (K1-K4, C1-C2) and distances (200m-500m). Our method utilizes YOLOv8 for buoy and athlete detection, leveraging the known buoy grid to estimate homographies. We generalized the estimation of the boat position by means of learning a boat-specific athlete offset using a U-net based boat tip calibration. Further, we implement a robust tracking scheme using optical flow to adapt to multi-athlete boat types. Finally, we introduce methods to extract stroke rate information from either pose estimations or the athlete bounding boxes themselves. Evaluation against GPS data from elite competitions yields a velocity RRMSE of 0.020 +- 0.011 (rho = 0.956) and a stroke rate RRMSE of 0.022 +- 0.024 (rho = 0.932). The methods provide coaches with highly accurate, automated feedback without requiring on-boat sensors or manual annotation.