Prompt, Probe, Train, or Annotate? Single-camera sports video understanding in amateur settings
作者: Sai Varun Kodathala, Prashanth Pollishetty, Jaylen Cargill
分类: cs.CV, cs.AI
发布日期: 2026-09-23
💡 一句话要点
提出多种方法以解决业余体育视频理解问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 业余体育视频理解 视频分析 多模态学习 运动识别 身份归属
📋 核心要点
- 现有方法在处理业余体育视频时面临挑战，尤其是在复杂的场景中难以实现准确的运动和身份识别。
- 本研究提出了四种方法，包括前沿视觉-语言模型的提示与自主推理、经典计算机视觉、小型训练专家、自监督视频世界模型和人工标注。
- 实验结果显示，尽管没有单一方法在所有阶段表现最佳，但小型训练模型在识别接触方面表现优于大型模型，且成本更低。
📝 摘要（中文）
视频理解通常在经过精心策划的单演员或专业拍摄的片段上进行基准测试，而强劲的得分常被视为模型足够稳健以进行部署的证据。业余团队运动是一个有用且未被充分测试的领域，尤其是在美国，2024-25学年有超过八百万学生参与学校体育，几乎没有超过一个固定摄像机拍摄的情况。以排球为测试案例，本文探讨在混乱的录像中，强大的视频和世界模型基准的表现是否能转化为可靠的逐人归属。我们在66场业余比赛中评估了四种方法，发现没有单一的方法在每个阶段都表现最佳，静态的单帧计算机视觉在涉及运动或身份的任何阶段都不具竞争力。
🔬 方法详解
问题定义：本研究旨在解决在业余体育视频中进行运动和身份识别的挑战，现有方法在复杂场景下的表现不佳，尤其是在缺乏多角度拍摄的情况下。
核心思路：论文提出通过结合多种方法来提高视频理解的准确性，尤其是在动态和身份识别方面，利用不同的技术来应对复杂的场景。
技术框架：整体架构包括四个主要模块：前沿视觉-语言模型的提示与推理、经典计算机视觉方法、小型训练专家模型、自监督视频世界模型，以及人工标注。每个模块在不同阶段进行评估。
关键创新：最重要的创新在于结合了多种方法来处理业余体育视频的复杂性，尤其是在身份识别方面，强调了运动模式的重复性与静态身份信息的区别。
关键设计：在模型设计中，采用了小型训练模型以降低成本，同时在损失函数和参数设置上进行了优化，以提高对接触事件的识别能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，尽管没有单一方法在所有阶段表现最佳，但小型训练模型在识别接触方面以更低的成本超越了大型模型，且运动规则能够有效恢复比赛结果，展示了不同方法的互补性。
🎯 应用场景
该研究的潜在应用领域包括业余体育赛事的自动分析、教练员和运动员的表现评估，以及为观众提供更丰富的观看体验。未来，这些方法可能扩展到其他类型的业余体育和非专业视频分析中，推动相关技术的发展。
📄 摘要（原文）
Video understanding is usually benchmarked on curated, single-actor, or professionally filmed clips, and a strong score there is routinely read as evidence a model is robust enough for deployment. Amateur team sport is a useful, largely untested place to check that assumption: over eight million students played a school sport in the United States in 2024-25 alone, almost none of it filmed by more than a single fixed camera, with several candidate actors crowded into frame and no operator or second angle to fall back on. Using volleyball as a test case, we ask whether strong performance on general video and world-model benchmarks translates into reliable, per-player attribution once footage is this chaotic, turning footage into statistics through a chain of tasks from finding play boundaries to naming who did what. We evaluate four approaches (prompting and agentic reasoning over frontier vision-language models, classical computer vision with small trained specialists, self-supervised video world models, and manual annotation) at every stage, on 66 amateur matches with 46,648 human-labelled contacts, filmed under conditions no published benchmark uses. No single paradigm wins every stage, and static, single-frame computer vision is not competitive at any stage involving motion or identity. A prompted model segments matches well, yet a far smaller trained model beats it at spotting contacts for a fraction of the cost, and the sport's own rules recover rally outcomes the pixels cannot. Identity is where every automated approach struggles: a jersey number is a static fact temporal reasoning cannot recover if never visible, unlike sporting action, a repeated motor pattern a temporal model can exploit, which is why holistic reasoning improves event detection while identity stays unchanged. We close with where each approach earns its cost, and what transfers beyond volleyball to amateur sport.