Velocity and stroke rate reconstruction of canoe sprint team boats based on panned and zoomed video recordings

📄 arXiv: 2602.22941 📥 PDF

作者: Julian Ziegler, Daniel Matthes, Finn Gerdts, Patrick Frenzel, Torsten Warnke, Matthias Englert, Tina Koevari, Mirco Fuchs

分类: cs.CV

发布日期: 2026-02-28

💡 一句话要点

提出基于平移缩放视频的皮划艇速度和划桨率重建框架，无需船载传感器。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 皮划艇 视频分析 速度估计 划桨率 YOLOv8 U-net 光流法

📋 核心要点

  1. 皮划艇冲刺运动中，速度和划桨率是制定配速策略的关键，但GPS设备不易获取，需要视频分析。
  2. 论文提出一种基于YOLOv8和U-net的框架，自动检测运动员和浮标，并估计船只位置和划桨率。
  3. 实验结果表明，该方法在速度和划桨率重建方面具有高精度，与GPS数据高度吻合，可为教练提供有效反馈。

📝 摘要（中文）

本文提出了一个扩展框架，用于从平移和缩放的视频记录中重建所有皮划艇冲刺项目（K1-K4，C1-C2）和距离（200米-500米）的性能指标，包括速度和划桨率。虽然GPS是分析的金标准，但其可用性有限，因此需要自动化的视频解决方案。该方法利用YOLOv8进行浮标和运动员检测，并利用已知的浮标网格来估计单应性矩阵。通过学习基于U-net的船头校准的特定于船只的运动员偏移来推广船只位置的估计。此外，还实施了一种使用光流的鲁棒跟踪方案，以适应多运动员船型。最后，引入了从姿势估计或运动员边界框本身提取划桨率信息的方法。针对精英比赛的GPS数据进行评估，速度的RRMSE为0.020 +- 0.011（rho = 0.956），划桨率的RRMSE为0.022 +- 0.024（rho = 0.932）。该方法为教练提供高度准确的自动化反馈，无需船载传感器或手动注释。

🔬 方法详解

问题定义：皮划艇冲刺运动的成绩分析依赖于速度和划桨率等关键指标。传统的GPS方法虽然精度高，但设备成本高昂且不易获取。现有的视频分析方法通常需要手动标注或依赖船载传感器，自动化程度低，难以满足大规模分析的需求。因此，需要一种能够从普通视频中自动、准确地提取这些指标的方法。

核心思路：论文的核心思路是利用计算机视觉技术，从平移和缩放的视频中自动检测运动员和浮标，并利用浮标的已知位置信息进行相机标定，从而估计船只的位置和速度。此外，通过分析运动员的运动轨迹或姿态变化，提取划桨率信息。这种方法无需船载传感器，降低了成本和复杂性。

技术框架：整体框架包括以下几个主要阶段：1) 使用YOLOv8检测视频中的浮标和运动员；2) 利用浮标的已知几何信息估计相机单应性矩阵，实现图像到世界坐标的转换；3) 使用基于U-net的船头校准方法，学习特定于船只的运动员偏移，从而更准确地估计船只位置；4) 使用光流法进行鲁棒的运动员跟踪，适应多运动员船型；5) 从运动员的姿态估计或边界框中提取划桨率信息。

关键创新：该论文的关键创新在于：1) 提出了一种基于U-net的船头校准方法，能够更准确地估计船只位置，解决了不同船型运动员偏移不同的问题；2) 提出了一种基于光流的鲁棒跟踪方案，能够有效跟踪多运动员船型；3) 提出了一种从姿态估计或边界框中提取划桨率信息的方法，无需额外的传感器。

关键设计：U-net网络用于学习船只的运动员偏移量，输入是运动员的检测框，输出是船头位置的偏移量。光流法采用稀疏光流，以减少计算量。划桨率的提取可以基于OpenPose等姿态估计方法，也可以直接分析运动员检测框的垂直方向运动频率。损失函数方面，位置估计采用均方误差损失，划桨率估计可以采用交叉熵损失或均方误差损失。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在速度重建方面达到了0.020 +- 0.011的RRMSE（相对均方根误差），相关系数rho为0.956。在划桨率重建方面，RRMSE为0.022 +- 0.024，相关系数rho为0.932。这些结果表明，该方法具有很高的精度，能够为教练员提供可靠的反馈。与传统的GPS方法相比，该方法无需船载传感器，降低了成本和复杂性。

🎯 应用场景

该研究成果可应用于皮划艇冲刺运动的训练和比赛分析。教练员可以通过该系统自动获取运动员的速度和划桨率等关键指标，无需手动标注或依赖昂贵的船载传感器。这有助于教练员更科学地制定训练计划，提高运动员的竞技水平。此外，该技术还可以应用于其他水上运动的分析，例如赛艇和帆船等。

📄 摘要（原文）

Pacing strategies, defined by velocity and stroke rate profiles, are essential for peak performance in canoe sprint. While GPS is the gold standard for analysis, its limited availability necessitates automated video-based solutions. This paper presents an extended framework for reconstructing performance metrics from panned and zoomed video recordings across all sprint disciplines (K1-K4, C1-C2) and distances (200m-500m). Our method utilizes YOLOv8 for buoy and athlete detection, leveraging the known buoy grid to estimate homographies. We generalized the estimation of the boat position by means of learning a boat-specific athlete offset using a U-net based boat tip calibration. Further, we implement a robust tracking scheme using optical flow to adapt to multi-athlete boat types. Finally, we introduce methods to extract stroke rate information from either pose estimations or the athlete bounding boxes themselves. Evaluation against GPS data from elite competitions yields a velocity RRMSE of 0.020 +- 0.011 (rho = 0.956) and a stroke rate RRMSE of 0.022 +- 0.024 (rho = 0.932). The methods provide coaches with highly accurate, automated feedback without requiring on-boat sensors or manual annotation.