Video Understanding: From Geometry and Semantics to Unified Models
作者: Zhaochong An, Zirui Li, Mingqiao Ye, Feng Qiao, Jiaang Li, Zongwei Wu, Vishal Thengane, Chengzu Li, Lei Li, Luc Van Gool, Guolei Sun, Serge Belongie
分类: cs.CV
发布日期: 2026-03-18
备注: A comprehensive survey of video understanding, spanning low-level geometry, high-level semantics, and unified understanding models
期刊: Machine Intelligence Research 2026
DOI: 10.1007/s11633-026-1656-7
💡 一句话要点
视频理解综述：从几何与语义到统一模型，探索时空推理与动态视觉上下文建模
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频理解 时空推理 动态视觉 几何理解 语义理解 统一模型 深度学习 计算机视觉
📋 核心要点
- 现有视频理解方法通常是孤立的、特定于任务的，缺乏通用性和可扩展性，难以应对复杂场景。
- 本文提出从低层几何、高层语义和统一模型三个视角对视频理解进行综述，强调统一建模范式的重要性。
- 该综述总结了视频理解的关键建模趋势和设计原则，并指出了构建鲁棒、可扩展的视频基础模型所面临的挑战。
📝 摘要（中文）
视频理解旨在使模型能够感知动态视觉世界、进行推理并与之交互。与图像理解相比，视频理解本质上需要对时间动态性和不断演变的视觉上下文进行建模，对时空推理提出了更高的要求，使其成为计算机视觉中的一个基础性问题。本综述通过三个互补的视角对视频理解进行了结构化的概述：低层视频几何理解、高层语义理解和统一视频理解模型。我们进一步强调了从孤立的、特定于任务的流程到可以适应各种下游目标的统一建模范式的更广泛转变，从而能够更系统地看待最近的进展。通过整合这些视角，本综述提供了一个关于不断发展的视频理解领域的连贯地图，总结了关键的建模趋势和设计原则，并概述了构建鲁棒、可扩展和统一的视频基础模型所面临的公开挑战。
🔬 方法详解
问题定义：视频理解旨在让机器像人一样理解视频内容，包括识别视频中的物体、动作、事件以及它们之间的关系。现有的视频理解方法通常是针对特定任务设计的，例如动作识别、视频描述等，缺乏通用性和可扩展性。此外，这些方法往往忽略了视频中的时空关系，难以捕捉视频中的动态变化和上下文信息。
核心思路：本文的核心思路是将视频理解分解为三个互补的视角：低层视频几何理解、高层语义理解和统一视频理解模型。低层几何理解关注视频中的运动信息和三维结构，高层语义理解关注视频中的物体、动作和事件，统一视频理解模型则试图将低层几何信息和高层语义信息结合起来，构建一个通用的视频理解框架。
技术框架：本文的综述框架主要分为三个部分：1) 低层视频几何理解，包括运动估计、三维重建等；2) 高层语义理解，包括动作识别、视频描述、视频问答等；3) 统一视频理解模型，包括基于Transformer的模型、基于图神经网络的模型等。每个部分都详细介绍了相关技术的发展历程、主要方法和最新进展。
关键创新：本文的创新之处在于提出了一个统一的视频理解框架，将低层几何信息和高层语义信息结合起来，从而更好地理解视频内容。此外，本文还强调了统一建模范式的重要性，认为未来的视频理解模型应该朝着通用化、可扩展化的方向发展。
关键设计：本文没有提出新的模型或算法，而是一个综述性的工作，因此没有具体的参数设置、损失函数、网络结构等技术细节。但是，本文强调了几个关键的设计原则，例如：1) 充分利用视频中的时空信息；2) 将低层几何信息和高层语义信息结合起来；3) 采用统一的建模范式。
🖼️ 关键图片
📊 实验亮点
本文是一篇综述性文章，没有具体的实验结果。但是，本文总结了视频理解领域的主要进展和挑战，并指出了未来的发展方向。通过对现有方法的分析和比较，本文为研究人员提供了一个全面的视角，有助于他们更好地理解视频理解领域，并开展相关研究。
🎯 应用场景
视频理解技术在智能监控、自动驾驶、人机交互、智能安防、内容审核、视频搜索等领域具有广泛的应用前景。更强大的视频理解模型能够提升这些应用场景的智能化水平，例如，在自动驾驶中，能够更准确地识别交通参与者的行为意图，从而提高驾驶安全性。
📄 摘要（原文）
Video understanding aims to enable models to perceive, reason about, and interact with the dynamic visual world. In contrast to image understanding, video understanding inherently requires modeling temporal dynamics and evolving visual context, placing stronger demands on spatiotemporal reasoning and making it a foundational problem in computer vision. In this survey, we present a structured overview of video understanding by organizing the literature into three complementary perspectives: low-level video geometry understanding, high-level semantic understanding, and unified video understanding models. We further highlight a broader shift from isolated, task-specific pipelines toward unified modeling paradigms that can be adapted to diverse downstream objectives, enabling a more systematic view of recent progress. By consolidating these perspectives, this survey provides a coherent map of the evolving video understanding landscape, summarizes key modeling trends and design principles, and outlines open challenges toward building robust, scalable, and unified video foundation models.