Training-Free Hold-Usage Detection in Sport Climbing with Foundation Pose Models
作者: Abu Bakar, Abdullah Aftab, Amir Hamza
分类: cs.CV
发布日期: 2026-09-24
备注: Accepted at AI2ML Conference 2026 (2nd International Conference on Advancement & Innovation in Artificial Intelligence and Machine Learning)
💡 一句话要点
提出无训练的攀岩抓握使用检测方法以解决现有模型不足问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 攀岩检测 姿态估计 无训练模型 运动分析 自动评分
📋 核心要点
- 现有的攀岩抓握使用检测方法依赖于特定任务的训练模型，或改造的2D姿态估计器，导致关键点位置偏差和手部遮挡问题。
- 本研究提出使用冻结的现成姿态基础模型，通过指尖和脚趾关键点进行接近性测试，检测抓握使用，无需攀岩特定训练。
- 在The Way Up数据集上，我们的方法在事件F_1上达到了90.2%，在脚抓握点的表现尤为突出，且超越了YOLOv8-pose和ViTPose的性能。
📝 摘要（中文）
检测攀岩者使用的抓握点及其时间是自动评分、运动分析和辅助系统的基础。现有方法通常需要训练特定任务的模型或改造2D姿态估计器，这些模型的手关键点位于手腕，脚关键点位于脚踝，导致与实际接触抓握点的指尖和脚趾存在偏差，且在大约一半的帧中手部被遮挡。我们展示了一个冻结的现成姿态基础模型是足够的：通过使用Sapiens的指尖和脚趾关键点，进行每帧与标注抓握点的接近性测试、每肢体的互斥性以及短暂的时间持续性规则，我们无需任何攀岩特定训练即可检测抓握使用。在The Way Up数据集上，我们的方法在保留的分割上达到了90.2%的事件F_1（在留一参与者交叉验证下为89.8%），在所有22个视频中任意时间重叠下为79.9%，并且在脚抓握点上表现最佳（整体F_1为89.8%，保留集为96.6%）。在相同协议下，我们的方法在每个时间阈值上均超过了YOLOv8-pose和ViTPose的重现，且在严格时间下差距扩大。消融实验表明，两个直观有益的补充——密集基础特征变化门控和身体部位分割——均有负面影响，表明关键点唯一设计是此任务的正确选择。最后，从我们的自动预测计算的标准教练统计数据与真实值紧密跟踪（爬升时间的Pearson r=1.00，步伐为0.94），使普通单摄像头视频转变为可靠的性能指标，无需额外设备。
🔬 方法详解
问题定义：本论文旨在解决攀岩中抓握使用检测的准确性问题。现有方法通常需要特定训练，且由于手部遮挡和关键点位置偏差，导致检测效果不佳。
核心思路：我们提出利用冻结的现成姿态基础模型，通过指尖和脚趾关键点进行接近性测试，结合每肢体的互斥性和时间持续性规则，从而实现无训练的抓握使用检测。
技术框架：整体方法包括三个主要模块：首先，使用Sapiens模型提取指尖和脚趾关键点；其次，进行每帧与标注抓握点的接近性测试；最后，应用互斥性和时间持续性规则进行最终判定。
关键创新：本研究的创新在于采用冻结的姿态基础模型进行抓握检测，避免了复杂的训练过程，并且通过简单的关键点设计实现了高效的检测性能。
关键设计：在技术细节上，我们使用了指尖和脚趾的关键点进行接近性测试，设置了互斥性规则以避免错误检测，并通过时间持续性规则提高了检测的稳定性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，我们的方法在The Way Up数据集上达到了90.2%的事件F_1，尤其在脚抓握点上表现出色（F_1为96.6%）。在相同条件下，我们的方法超越了YOLOv8-pose和ViTPose的性能，且在严格时间阈值下差距更大，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括攀岩运动的自动评分系统、运动分析工具以及辅助训练系统。通过将普通视频转化为可靠的性能指标，能够为教练和运动员提供实时反馈，提升训练效果和比赛表现。
📄 摘要（原文）
Detecting which holds a climber uses, and when, underpins automated scoring, movement analysis, and assistive systems for sport climbing. Existing approaches train task-specific models or repurpose 2D pose estimators whose hand keypoint sits at the wrist and foot keypoint at the ankle i.e. offset from the fingertips and toes that actually contact the holds, and whose hands are occluded in roughly half of all frames. We show that a frozen, off-the-shelf pose foundation model is sufficient: using the fingertip and toe keypoints of Sapiens, a per-frame proximity test against the annotated holds, per-limb mutual exclusion, and a short temporal-persistence rule, we detect hold usage without any climbing-specific training. On the The Way Up dataset (22 videos, 10 athletes, two routes), our method reaches an event F_1 of 90.2% on a held-out split (89.8% under leave-one-participant-out cross-validation) and 79.9% over all 22 videos at any temporal overlap, and performs best on footholds (F_1,89.8% overall, 96.6% held-out). Under an identical protocol it exceeds our reproductions of the YOLOv8-pose and ViTPose pipelines at every temporal threshold, with the margin widening under strict timing. An ablation shows that two intuitively helpful additions---dense foundation-feature change gating and body-part segmentation---both hurt, arguing that a minimal, keypoint-only design is the right one for this task. Finally, standard coaching statistics computed from our automatic predictions track ground truth closely (Pearson r=1.00 for climb time, 0.94 for pace), turning ordinary single-camera video into reliable performance metrics with no instrumentation.