Enhancing Action Recognition by Leveraging the Hierarchical Structure of Actions and Textual Context

📄 arXiv: 2410.21275v2 📥 PDF

作者: Manuel Benavent-Lledo, David Mulero-Pérez, David Ortiz-Perez, Jose Garcia-Rodriguez, Antonis Argyros

分类: cs.CV, cs.AI

发布日期: 2024-10-28 (更新: 2025-11-03)

期刊: Computer Vision and Image Understanding, Volume 262, 2025

DOI: 10.1016/j.cviu.2025.104560

💡 一句话要点

利用动作层级结构和文本上下文增强动作识别

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 动作识别 Transformer 层级结构 文本上下文 多模态融合

📋 核心要点

  1. 现有动作识别方法缺乏对动作层级结构的有效利用，且对动作上下文信息的建模不足，限制了识别精度。
  2. 论文提出一种基于Transformer的架构，融合视觉和文本特征，并利用联合损失函数同时学习粗粒度和细粒度的动作。
  3. 实验结果表明，该方法在多个数据集上显著优于现有技术，尤其在top-1准确率上提升超过17%。

📝 摘要（中文）

本文提出了一种新颖的方法，通过利用动作的层级组织结构并结合上下文文本信息（包括位置和先前的动作）来反映动作的时间上下文，从而改进动作识别。为此，我们引入了一种专为动作识别定制的Transformer架构，该架构同时使用视觉和文本特征。视觉特征从RGB和光流数据中获得，而文本嵌入表示上下文信息。此外，我们定义了一个联合损失函数，用于同时训练模型进行粗粒度和细粒度的动作识别，从而有效地利用动作的层级性质。为了证明我们方法的有效性，我们通过整合动作层级结构来扩展Toyota Smarthome Untrimmed (TSU)数据集，从而产生了分层TSU数据集，这是一个专为监控家庭环境中老年人活动而设计的层级数据集。一项消融研究评估了整合上下文和层级数据的不同策略对性能的影响。实验结果表明，所提出的方法在分层TSU数据集、Assembly101和IkeaASM上始终优于SOTA方法，在top-1准确率方面实现了超过17%的提升。

🔬 方法详解

问题定义：现有的动作识别方法通常忽略了动作的层级结构，例如“做饭”可以分解为“切菜”、“炒菜”等更细粒度的动作。此外，它们对动作发生的上下文信息（如地点、之前的动作）利用不足，导致识别精度受限。因此，需要一种能够同时考虑动作层级结构和上下文信息的方法来提升动作识别的准确性。

核心思路：论文的核心思路是利用Transformer架构同时处理视觉特征（RGB和光流）和文本特征（上下文信息），并通过联合损失函数来学习动作的层级结构。通过将动作分解为不同粒度的层次，并结合上下文信息，模型能够更准确地理解和识别动作。

技术框架：该方法主要包含以下几个模块：1) 视觉特征提取模块，从RGB和光流数据中提取视觉特征；2) 文本特征嵌入模块，将上下文信息（如地点、之前的动作）嵌入为文本向量；3) Transformer编码器，融合视觉和文本特征，学习动作的表示；4) 分类器，根据学习到的动作表示进行动作分类（包括粗粒度和细粒度）；5) 联合损失函数，同时优化粗粒度和细粒度的动作分类。

关键创新：该方法最重要的创新点在于：1) 提出了一个能够同时处理视觉和文本特征的Transformer架构，有效融合了动作的视觉信息和上下文信息；2) 定义了一个联合损失函数，能够同时训练模型进行粗粒度和细粒度的动作识别，从而有效地利用了动作的层级结构。与现有方法相比，该方法能够更全面地理解动作，从而提高识别精度。

关键设计：在Transformer编码器中，视觉特征和文本特征被拼接在一起作为输入。联合损失函数由两部分组成：粗粒度动作分类的交叉熵损失和细粒度动作分类的交叉熵损失。这两个损失函数以一定的权重进行加权，以平衡粗粒度和细粒度动作识别的性能。此外，论文还设计了一个新的数据集Hierarchical TSU，用于评估该方法在层级动作识别方面的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在Hierarchical TSU数据集上取得了显著的性能提升，top-1准确率超过SOTA方法17%。此外，在Assembly101和IkeaASM数据集上也取得了优异的性能。消融研究验证了上下文信息和层级结构对动作识别的重要性。

🎯 应用场景

该研究成果可应用于智能家居、养老监护、机器人辅助等领域。例如，在智能家居中，系统可以根据用户的动作和上下文信息，自动调节家电设备；在养老监护中，系统可以监测老年人的日常活动，及时发现异常情况并发出警报；在机器人辅助中，机器人可以根据用户的动作意图，提供相应的帮助。

📄 摘要（原文）

We propose a novel approach to improve action recognition by exploiting the hierarchical organization of actions and by incorporating contextualized textual information, including location and previous actions, to reflect the action's temporal context. To achieve this, we introduce a transformer architecture tailored for action recognition that employs both visual and textual features. Visual features are obtained from RGB and optical flow data, while text embeddings represent contextual information. Furthermore, we define a joint loss function to simultaneously train the model for both coarse- and fine-grained action recognition, effectively exploiting the hierarchical nature of actions. To demonstrate the effectiveness of our method, we extend the Toyota Smarthome Untrimmed (TSU) dataset by incorporating action hierarchies, resulting in the Hierarchical TSU dataset, a hierarchical dataset designed for monitoring activities of the elderly in home environments. An ablation study assesses the performance impact of different strategies for integrating contextual and hierarchical data. Experimental results demonstrate that the proposed method consistently outperforms SOTA methods on the Hierarchical TSU dataset, Assembly101 and IkeaASM, achieving over a 17% improvement in top-1 accuracy.