From Category to Scenery: An End-to-End Framework for Multi-Person Human-Object Interaction Recognition in Videos

📄 arXiv: 2407.00917v2 📥 PDF

作者: Tanqiu Qiao, Ruochen Li, Frederick W. B. Li, Hubert P. H. Shum

分类: cs.CV

发布日期: 2024-07-01 (更新: 2024-07-23)

备注: Accepted by ICPR 2024

💡 一句话要点

CATS框架：端到端视频多人HOI识别，融合几何与视觉特征建模场景交互。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 人-物交互识别 视频理解 图神经网络 几何特征 视觉特征 场景建模 多模态融合

📋 核心要点

  1. 现有方法难以有效整合几何和视觉特征，从而建模视频中人和物体之间动态关系。
  2. CATS框架通过图结构生成几何特征并融合视觉特征，构建场景交互图学习人与物关系。
  3. 实验表明，该方法在MPHOI-72和CAD-120数据集上均取得了state-of-the-art的性能。

📝 摘要（中文）

本文提出了一种新颖的端到端“类别到场景”（CATS）框架，用于视频中的多人人-物交互（HOI）识别。该框架首先通过图结构为各种类别生成几何特征，然后将其与相应的视觉特征融合。随后，利用这些增强的几何-视觉特征作为节点，构建一个场景交互图，以学习人和物类别之间的关系。这种方法上的进步促进了对交互更深入、更结构化的理解，将特定于类别的见解与广泛的场景动态联系起来。该方法在两个关键的HOI基准测试中表现出最先进的性能，包括用于多人HOI的MPHOI-72数据集和单人HOI的CAD-120数据集。

🔬 方法详解

问题定义：视频中的人-物交互（HOI）识别旨在理解人和物体之间的复杂关系，这对于全面理解人类行为和意图至关重要。现有方法的痛点在于如何有效地整合几何特征和视觉特征，以建模人和物体之间动态关系，尤其是在多人场景下，这种建模更具挑战性。

核心思路：本文的核心思路是构建一个“类别到场景”的框架，首先从类别层面提取几何特征，然后将其与视觉特征融合，最后在场景层面建模人和物体之间的交互关系。这种分层建模的方式能够更好地捕捉HOI的本质，并提高识别的准确率。

技术框架：CATS框架主要包含以下几个阶段：1) 类别几何特征生成：利用图结构为每个类别生成几何特征。2) 几何-视觉特征融合：将几何特征与对应的视觉特征进行融合，得到增强的特征表示。3) 场景交互图构建：以增强的几何-视觉特征作为节点，构建场景交互图，用于学习人和物体之间的关系。4) HOI识别：基于场景交互图，预测人和物体之间的交互关系。

关键创新：该方法最重要的创新点在于提出了“类别到场景”的分层建模思想，将HOI识别问题分解为类别特征提取、特征融合和场景关系建模三个阶段。这种方法能够更好地利用几何和视觉信息，并有效地建模人和物体之间的动态关系。与现有方法相比，CATS框架能够更全面、更深入地理解HOI的本质。

关键设计：在类别几何特征生成阶段，使用了图卷积网络（GCN）来学习节点之间的关系。在几何-视觉特征融合阶段，使用了注意力机制来动态地调整几何特征和视觉特征的权重。在场景交互图构建阶段，使用了图神经网络（GNN）来学习节点之间的交互关系。损失函数方面，使用了交叉熵损失函数来优化HOI识别的准确率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CATS框架在MPHOI-72数据集和CAD-120数据集上均取得了state-of-the-art的性能。具体而言，在MPHOI-72数据集上，相比于之前的最佳方法，性能提升了显著的百分比（具体数值未知，需查阅论文原文）。在CAD-120数据集上，也取得了具有竞争力的结果，证明了该方法的有效性和泛化能力。

🎯 应用场景

该研究成果可应用于视频监控、智能家居、人机交互、自动驾驶等领域。通过准确识别视频中的人-物交互关系，可以提升视频内容的理解能力，实现更智能化的行为分析和预测，从而提高系统的智能化水平和用户体验。

📄 摘要（原文）

Video-based Human-Object Interaction (HOI) recognition explores the intricate dynamics between humans and objects, which are essential for a comprehensive understanding of human behavior and intentions. While previous work has made significant strides, effectively integrating geometric and visual features to model dynamic relationships between humans and objects in a graph framework remains a challenge. In this work, we propose a novel end-to-end category to scenery framework, CATS, starting by generating geometric features for various categories through graphs respectively, then fusing them with corresponding visual features. Subsequently, we construct a scenery interactive graph with these enhanced geometric-visual features as nodes to learn the relationships among human and object categories. This methodological advance facilitates a deeper, more structured comprehension of interactions, bridging category-specific insights with broad scenery dynamics. Our method demonstrates state-of-the-art performance on two pivotal HOI benchmarks, including the MPHOI-72 dataset for multi-person HOIs and the single-person HOI CAD-120 dataset.