Insights from Visual Cognition: Understanding Human Action Dynamics with Overall Glance and Refined Gaze Transformer

📄 arXiv: 2604.06783v1 📥 PDF

作者: Bohao Xing, Deng Li, Rong Gao, Xin Liu, Heikki Kälviäinen

分类: cs.CV

发布日期: 2026-04-08

🔗 代码/项目: GITHUB

💡 一句话要点

提出OG-ReG Transformer，模拟人类视觉认知，提升视频动作理解能力

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视频动作识别 Transformer 自注意力机制 人类视觉认知 双路径网络

📋 核心要点

  1. 现有视频理解方法在时空建模中存在不足，无法有效捕捉长程依赖和运动信息。
  2. OG-ReG Transformer模拟人类视觉系统，通过Glance和Gaze双路径提取不同粒度的时空信息。
  3. 实验表明，OG-ReG Transformer在多个视频动作识别数据集上取得了SOTA结果。

📝 摘要（中文）

Transformer在各种视觉任务中取得了显著进展。为了平衡视频任务中的计算量和效率，现有方法严重依赖于分解或基于窗口的自注意力机制。然而，这些方法割裂了视频中感兴趣区域之间的时空相关性，限制了模型捕捉运动和长程依赖关系的能力。本文认为，与人类视觉系统类似，时间和空间信息的重要性随时间尺度变化，并且注意力通过快速浏览和精细注视行为在时间上稀疏地分配。对时间和空间给予同等考虑对于视频任务的成功至关重要吗？受此启发，我们提出了一个双路径网络，称为Overall Glance and Refined Gaze (OG-ReG) Transformer。Glance路径提取粗粒度的整体时空信息，而Gaze路径通过提供局部细节来补充Glance路径。我们的模型在Kinetics-400、Something-Something v2和Diving-48上取得了最先进的结果，证明了其竞争性能。代码将在https://github.com/linuxsino/OG-ReG上提供。

🔬 方法详解

问题定义：现有基于Transformer的视频理解方法，为了降低计算复杂度，通常采用分解或窗口化的自注意力机制。这些方法将视频中的时空关联性割裂，导致模型难以捕捉长程依赖关系和复杂的运动模式。因此，如何高效且有效地建模视频中的时空信息是一个关键问题。

核心思路：论文的核心思想是模拟人类的视觉认知机制，即通过“快速浏览”（Glance）获取全局信息，再通过“精细注视”（Gaze）关注局部细节。这种双重机制能够有效地平衡全局上下文理解和局部细节捕捉，从而提升视频理解能力。

技术框架：OG-ReG Transformer是一个双路径网络，包含Glance路径和Gaze路径。Glance路径负责提取视频的粗粒度整体时空信息，捕捉全局上下文。Gaze路径则专注于局部细节，补充Glance路径的信息。两个路径提取的特征进行融合，最终用于动作识别。

关键创新：该方法最重要的创新点在于模拟了人类视觉认知中的“Glance and Gaze”机制，并将其应用于视频理解任务中。与现有方法不同，OG-ReG Transformer不是简单地对时空信息进行分解或窗口化处理，而是通过双路径结构，分别提取全局和局部信息，从而更全面地理解视频内容。

关键设计：Glance路径和Gaze路径可以使用不同的Transformer结构，例如，Glance路径可以使用计算复杂度较低的全局注意力机制，而Gaze路径可以使用局部注意力机制。此外，如何有效地融合两个路径提取的特征也是一个关键设计点。论文中可能使用了特定的融合策略，例如注意力机制或简单的拼接操作。具体的参数设置、损失函数和网络结构细节需要在代码中进一步分析。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OG-ReG Transformer在Kinetics-400、Something-Something v2和Diving-48等多个视频动作识别数据集上取得了state-of-the-art的结果，证明了其优越的性能。具体的性能提升幅度需要在论文中查找详细的实验数据和对比结果。这些实验结果表明，模拟人类视觉认知机制能够有效地提升视频理解能力。

🎯 应用场景

该研究成果可应用于视频监控、智能安防、人机交互、自动驾驶等领域。通过更准确地理解视频中的动作和行为，可以提升监控系统的智能化水平，改善人机交互的自然性，并为自动驾驶系统提供更可靠的环境感知能力。未来，该方法还可以扩展到其他视频分析任务，如视频摘要、视频检索等。

📄 摘要（原文）

Recently, Transformer has made significant progress in various vision tasks. To balance computation and efficiency in video tasks, recent works heavily rely on factorized or window-based self-attention. However, these approaches split spatiotemporal correlations between regions of interest in videos, limiting the models' ability to capture motion and long-range dependencies. In this paper, we argue that, similar to the human visual system, the importance of temporal and spatial information varies across different time scales, and attention is allocated sparsely over time through glance and gaze behavior. Is equal consideration of time and space crucial for success in video tasks? Motivated by this understanding, we propose a dual-path network called the Overall Glance and Refined Gaze (OG-ReG) Transformer. The Glance path extracts coarse-grained overall spatiotemporal information, while the Gaze path supplements the Glance path by providing local details. Our model achieves state-of-the-art results on the Kinetics-400, Something-Something v2, and Diving-48, demonstrating its competitive performance. The code will be available at https://github.com/linuxsino/OG-ReG.