Nonverbal Interaction Detection

作者: Jianan Wei, Tianfei Zhou, Yi Yang, Wenguan Wang

分类: cs.CV, cs.AI

发布日期: 2024-07-11 (更新: 2024-07-14)

备注: ECCV 2024; Project page: https://github.com/weijianan1/NVI

💡 一句话要点

提出基于超图的非语言交互检测模型NVI-DEHR，解决社交场景下非语言行为理解难题。

🎯 匹配领域: 支柱五：交互与反应 (Interaction & Reaction)

关键词: 非语言交互检测 超图 社交场景理解 人机交互 计算机视觉

📋 核心要点

1. 现有方法孤立地分析非语言线索，忽略了社交场景中复杂的交互关系，导致非语言行为理解不足。
2. 提出NVI-DEHR模型，利用双重多尺度超图显式建模个体间和群体间的高阶非语言交互关系。
3. 在NVI数据集上，NVI-DEHR显著优于现有基线方法，并在HOI-DET任务上展现出强大的泛化能力。

📝 摘要（中文）

本研究致力于解决社交场景中人类非语言交互理解这一新挑战。非语言信号几乎存在于每一个交流行为中。我们的手势、面部表情、姿势、眼神，甚至外貌都在传递信息，无需言语。尽管非语言信号在社交生活中至关重要，但与语言信号相比，它们受到的关注非常有限，并且现有的解决方案通常孤立地检查非语言线索。本研究首次系统地尝试增强对多方面非语言信号的解释。首先，我们贡献了一个新的大型数据集，称为NVI，该数据集经过精心标注，包括人类和相应社交群体的边界框，以及五种广泛交互类型下的22种原子级非语言行为。其次，我们建立了一个新的任务NVI-DET，用于非语言交互检测，其形式是从图像中识别<个体，群体，交互>三元组。第三，我们提出了一种非语言交互检测超图（NVI-DEHR），这是一种使用超图显式建模高阶非语言交互的新方法。该模型的中心是一个双重多尺度超图，它巧妙地解决了不同尺度上的个体间和群体间的相关性，促进了交互特征学习，并最终提高了交互预测。在NVI上的大量实验表明，NVI-DEHR在NVI-DET中显著提高了各种基线。它还在HOI-DET上表现出领先的性能，证实了其在支持相关任务方面的多功能性和强大的泛化能力。我们希望我们的研究将为社区提供新的途径，以更深入地探索非语言信号。

🔬 方法详解

问题定义：论文旨在解决社交场景下非语言交互检测问题，即从图像中识别<个体，群体，交互>三元组。现有方法主要关注孤立的非语言线索，忽略了人与人之间、群体与群体之间复杂的交互关系，导致对非语言行为的理解不够深入和准确。

核心思路：论文的核心思路是利用超图来显式建模高阶非语言交互。超图能够表示多个节点之间的复杂关系，因此可以有效地捕捉个体间和群体间的交互模式。通过学习超图上的节点和超边特征，可以更好地理解非语言交互的含义。

技术框架：NVI-DEHR模型包含以下主要模块：1) 特征提取模块：提取图像中个体和群体的视觉特征。2) 双重多尺度超图构建模块：构建个体-个体和群体-群体之间的多尺度超图，捕捉不同粒度的交互关系。3) 超图卷积模块：利用超图卷积网络学习超图上的节点和超边特征，提取交互特征。4) 交互预测模块：基于学习到的交互特征，预测<个体，群体，交互>三元组。

关键创新：该论文的关键创新在于提出了双重多尺度超图结构，能够同时建模个体间和群体间的交互关系，并捕捉不同尺度的交互模式。这种结构能够更全面地理解非语言交互的复杂性，从而提高检测精度。与现有方法相比，NVI-DEHR能够显式地建模高阶交互关系，避免了信息损失和歧义。

关键设计：在超图构建模块中，使用了多尺度策略，即在不同的尺度上构建超图，以捕捉不同粒度的交互关系。在超图卷积模块中，使用了多层超图卷积网络，以学习更深层次的交互特征。损失函数包括交互分类损失和关系预测损失，用于优化模型参数。

🖼️ 关键图片

📊 实验亮点

NVI-DEHR在NVI数据集上取得了显著的性能提升，相比于现有基线方法，在NVI-DET任务上取得了明显的优势。此外，NVI-DEHR在HOI-DET任务上也表现出领先的性能，证明了其在相关任务上的泛化能力。实验结果表明，所提出的双重多尺度超图结构能够有效地建模高阶非语言交互关系，从而提高检测精度。

🎯 应用场景

该研究成果可应用于社交机器人、智能监控、人机交互等领域。例如，社交机器人可以利用非语言交互检测技术更好地理解人类的情感和意图，从而做出更自然和恰当的反应。智能监控系统可以利用该技术检测异常社交行为，例如欺凌、暴力等，从而提高安全性。在人机交互中，该技术可以帮助机器更好地理解用户的非语言指令，提高交互效率。

📄 摘要（原文）

This work addresses a new challenge of understanding human nonverbal interaction in social contexts. Nonverbal signals pervade virtually every communicative act. Our gestures, facial expressions, postures, gaze, even physical appearance all convey messages, without anything being said. Despite their critical role in social life, nonverbal signals receive very limited attention as compared to the linguistic counterparts, and existing solutions typically examine nonverbal cues in isolation. Our study marks the first systematic effort to enhance the interpretation of multifaceted nonverbal signals. First, we contribute a novel large-scale dataset, called NVI, which is meticulously annotated to include bounding boxes for humans and corresponding social groups, along with 22 atomic-level nonverbal behaviors under five broad interaction types. Second, we establish a new task NVI-DET for nonverbal interaction detection, which is formalized as identifying triplets in the form from images. Third, we propose a nonverbal interaction detection hypergraph (NVI-DEHR), a new approach that explicitly models high-order nonverbal interactions using hypergraphs. Central to the model is a dual multi-scale hypergraph that adeptly addresses individual-to-individual and group-to-group correlations across varying scales, facilitating interactional feature learning and eventually improving interaction prediction. Extensive experiments on NVI show that NVI-DEHR improves various baselines significantly in NVI-DET. It also exhibits leading performance on HOI-DET, confirming its versatility in supporting related tasks and strong generalization ability. We hope that our study will offer the community new avenues to explore nonverbal signals in more depth.