VT-LVLM-AR: A Video-Temporal Large Vision-Language Model Adapter for Fine-Grained Action Recognition in Long-Term Videos

📄 arXiv: 2508.15903v1 📥 PDF

作者: Kaining Li, Shuwei He, Zihan Xu

分类: cs.CV

发布日期: 2025-08-21

💡 一句话要点

提出VT-LVLM-AR，利用视频-时间大视觉语言模型适配器解决长时视频中的细粒度动作识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长时视频理解 细粒度动作识别 视觉语言模型 视频事件序列 Prompt Tuning 多模态学习 可解释性

📋 核心要点

  1. 传统深度学习模型在长时视频细粒度动作识别中面临计算开销大、难以捕捉长程时间依赖和语义理解有限等挑战。
  2. VT-LVLM-AR通过视频到事件映射器（VTEM）将视频转换为视觉事件序列，并利用Prompt Tuning适配LVLM进行动作分类。
  3. 在NTU RGB+D等数据集上，VT-LVLM-AR取得了SOTA性能，例如在NTU RGB+D X-Sub上达到94.1%的准确率，并具有良好的可解释性。

📝 摘要（中文）

本文提出了一种新的框架VT-LVLM-AR（用于动作识别的视频-时间大视觉语言模型适配器），旨在解决长时视频中细粒度动作识别的难题。该框架包含一个视频到事件映射器（VTEM），它通过轻量级的时空特征提取、自适应时间池化以及带有事件连贯性偏差的概念量化，将原始视频高效地转换为紧凑、语义丰富且时间连贯的“视觉事件序列”。然后，这些视觉事件序列被输入到基于LVLM的动作推理模块，具体来说是一个冻结的LLaVA-1.5模型，该模型使用参数高效的Prompt Tuning (P-Tuning v2) 进行适配以进行动作分类。在NTU RGB+D和NTU RGB+D 120数据集上的综合评估表明，VT-LVLM-AR始终如一地实现了最先进的性能，超越了现有方法（例如，在NTU RGB+D X-Sub上达到94.1%的准确率）。消融研究证实了VTEM组件的关键贡献和Prompt Tuning的有效性，而人工评估则强调了我们的视觉事件表示的可解释性。这项工作突出了通过有效的视频到语言翻译和高效的模型适配，利用LVLM进行鲁棒且可解释的视频动作理解的巨大潜力。

🔬 方法详解

问题定义：论文旨在解决长时视频中细粒度动作识别的问题。现有方法通常计算开销大，难以捕捉长程时间依赖关系，并且语义理解能力有限，导致在复杂背景和细微动作差异下表现不佳。

核心思路：论文的核心思路是将视频转换为一种紧凑、语义丰富的“视觉事件序列”，然后利用大型视觉语言模型（LVLM）的强大语义理解和推理能力进行动作识别。通过将视频信息转化为更易于LVLM处理的形式，可以有效利用预训练模型的知识，并减少对大量视频数据的依赖。

技术框架：VT-LVLM-AR框架主要包含两个模块：视频到事件映射器（VTEM）和基于LVLM的动作推理模块。VTEM负责将原始视频转换为视觉事件序列，包括时空特征提取、自适应时间池化和概念量化等步骤。动作推理模块则使用冻结的LLaVA-1.5模型，并通过Prompt Tuning进行参数高效的适配，最终实现动作分类。

关键创新：该论文的关键创新在于提出了VTEM模块，它能够有效地将视频转换为视觉事件序列，从而弥合了视频数据和LVLM之间的差距。此外，使用Prompt Tuning对LVLM进行适配，避免了对整个模型进行微调，大大降低了计算成本。

关键设计：VTEM模块中的自适应时间池化可以根据视频内容动态调整时间窗口大小，从而更好地捕捉不同动作的时间尺度。概念量化步骤使用事件连贯性偏差，鼓励生成连贯的视觉事件序列。动作推理模块使用P-Tuning v2进行Prompt Tuning，通过学习少量可训练的prompt tokens来引导LVLM进行动作分类。

📊 实验亮点

VT-LVLM-AR在NTU RGB+D和NTU RGB+D 120数据集上取得了显著的性能提升，超越了现有的SOTA方法。例如，在NTU RGB+D X-Sub数据集上，VT-LVLM-AR达到了94.1%的准确率。消融实验证明了VTEM模块和Prompt Tuning的有效性。人工评估表明，该方法生成的视觉事件表示具有良好的可解释性。

🎯 应用场景

该研究成果可应用于智能监控、人机交互、视频内容分析等领域。例如，在智能监控中，可以利用该方法识别异常行为；在人机交互中，可以识别用户的动作指令；在视频内容分析中，可以自动提取视频中的关键动作事件。未来，该方法有望进一步扩展到更复杂的视频理解任务中。

📄 摘要（原文）

Human action recognition in long-term videos, characterized by complex backgrounds and subtle action differences, poses significant challenges for traditional deep learning models due to computational overhead, difficulty in capturing long-range temporal dependencies, and limited semantic understanding. While Large Language Models (LLMs) and Large Vision-Language Models (LVLMs) have shown remarkable capabilities in multi-modal understanding and reasoning, their direct application to continuous video streams for fine-grained action recognition remains an open problem. This paper introduces VT-LVLM-AR (Video-Temporal Large Vision-Language Model Adapter for Action Recognition), a novel framework designed to bridge this gap. VT-LVLM-AR comprises a Video-to-Event Mapper (VTEM) that efficiently transforms raw video into compact, semantically rich, and temporally coherent "visual event sequences" through lightweight spatio-temporal feature extraction, adaptive temporal pooling, and conceptual quantization with an event coherence bias. These visual event sequences are then fed into an LVLM-based Action Reasoning module, specifically a frozen LLaVA-1.5 model, adapted using parameter-efficient Prompt Tuning (P-Tuning v2) for action classification. Comprehensive evaluations on the NTU RGB+D and NTU RGB+D 120 datasets demonstrate that VT-LVLM-AR consistently achieves state-of-the-art performance, surpassing existing methods (e.g., 94.1% accuracy on NTU RGB+D X-Sub). Ablation studies confirm the critical contributions of VTEM's components and the efficacy of Prompt Tuning, while human evaluations underscore the interpretability of our visual event representations. This work highlights the immense potential of leveraging LVLMs for robust and interpretable video action understanding through effective video-to-language translation and efficient model adaptation.