Beyond the Single Camera: Agentic Multi-View Reasoning in Sports Video Understanding
作者: Kerui Chen, Jinglu Wang, Xiaoyi Zhang, Yan Lu
分类: cs.CV
发布日期: 2026-07-13
💡 一句话要点
提出SportMV-Agent以解决多视角体育视频理解问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多视角视频理解 主动视角选择 证据驱动推理 多模态大语言模型 体育视频分析
📋 核心要点
- 现有多模态大语言模型在单视角视频理解上表现良好，但在复杂的体育视频中面临多重挑战，如遮挡和快速运动。
- 本文提出了SportMV-Agent框架，通过主动选择视角和证据驱动推理来提升多视角视频理解能力。
- 实验结果显示，SportMV-Agent在多视角视频理解上相较于最强基线模型提升了14.46%的性能，验证了其有效性。
📝 摘要（中文）
近年来，多模态大语言模型（MLLMs）在单视角视频理解基准上表现出色。然而，体育视频由于密集遮挡、快速运动和复杂交互，单一视角难以有效解析。现有基准未评估MLLMs在多视角体育视频理解上的表现。为此，本文引入了SportMV-Bench，这是一个基于官方比赛录制的综合基准，结合了LLM生成、MLLM验证和人工过滤，确保质量和一致性。SportMV-Bench包含787个多视角视频包和2592个问答对，涵盖感知意识识别、规则意识事件解释和裁决决策推理三个类别。分析表明，现有MLLMs未能有效利用多视角信息，瓶颈在于细粒度视觉感知和视角选择。我们提出SportMV-Agent，一个主动视角选择、感知工具执行和证据驱动推理的框架，相较于最强MLLM基线实现了14.46%的相对提升。
🔬 方法详解
问题定义：本文旨在解决现有多模态大语言模型在多视角体育视频理解中的不足，尤其是在细粒度视觉感知和视角选择方面的瓶颈。
核心思路：提出SportMV-Agent框架，通过迭代的主动视角选择、感知工具执行和证据驱动推理，来有效整合多视角信息，提升理解能力。
技术框架：整体架构包括三个主要模块：主动视角选择模块、感知工具执行模块和证据驱动推理模块，形成一个闭环系统以优化信息处理。
关键创新：最重要的创新在于引入了主动视角选择机制，使得模型能够根据当前任务动态选择最佳视角，从而克服了传统方法的局限性。
关键设计：在参数设置上，采用了适应性损失函数以平衡不同视角的信息贡献，同时设计了多层次的神经网络结构以增强模型的感知能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SportMV-Agent在多视角视频理解任务中相较于最强基线模型实现了14.46%的相对性能提升，展示了其在细粒度视觉感知和视角选择方面的显著优势，验证了该方法的有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括体育赛事的自动裁判系统、视频分析工具和智能体育转播等。通过提升多视角视频理解能力，能够为裁判提供更准确的决策支持，进而提高比赛的公正性和观赏性。未来，该技术还可扩展至其他领域，如监控视频分析和复杂场景理解等。
📄 摘要（原文）
Recent Multimodal Large Language Models (MLLMs) achieve strong performance on single-view video understanding benchmarks. However, sports videos involve dense occlusion, rapid motion, and complex interactions that are difficult to resolve from a single viewpoint. In practice, sports events are recorded from multiple camera angles, providing complementary evidence used by referees. Yet, no existing benchmark evaluates MLLMs on multi-view sports video understanding. To address this gap, we introduce SportMV-Bench, a comprehensive benchmark built from official match recordings, through a dedicated pipeline combining LLM-based generation, MLLM-based verification, and human filtering to ensure quality and consistency. SportMV-Bench containing 787 multi-view video bundles and 2592 question-answer pairs across three categories: Perception-Aware Recognition (PAR), Rule-aware Event Interpretation (REI), and Adjudicative Decision Reasoning(ADR). Our analysis shows that current MLLMs fail to effectively exploit multi-view information, with the bottlenecks lying in fine-grained visual perception and view selection rather than logical reasoning or domain knowledge. We propose SportMV-Agent, an agentic framework that orchestrates an iterative loop of active view selection, perception tool execution, and evidence-grounded reasoning, achieving a significant 14.46% relative improvement over the strongest MLLM baseline.