AsyReC: A Multimodal Graph-based Framework for Spatio-Temporal Asymmetric Dyadic Relationship Classification
作者: Wang Tang, Fethiye Irmak Dogan, Linbo Qing, Hatice Gunes
分类: cs.CV, cs.MM
发布日期: 2025-04-07
🔗 代码/项目: GITHUB
💡 一句话要点
AsyReC：提出基于多模态图神经网络的非对称时空二元关系分类框架
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 二元关系分类 图神经网络 多模态融合 非对称关系建模 时空建模
📋 核心要点
- 现有方法难以建模二元关系中的不对称性，忽略了交互的时间连续性，且未能有效利用周期性行为线索。
- AsyReC通过三元组图神经网络建模交互不对称性，clip级别学习保持时间连续性，并使用周期性时间编码器捕捉循环行为模式。
- 在两个公共数据集上进行了大量实验，结果表明AsyReC达到了最先进的性能，并验证了各个模块的有效性。
📝 摘要（中文）
二元社会关系受到共享时空经验的影响。现有计算方法在建模这些关系时面临三个主要挑战：(1)无法建模非对称关系，例如，一个人可能认为另一个人是朋友，而另一个人可能认为他们是熟人；(2)离散帧采样破坏了连续交互，分割了真实场景中交互的时间连续性；(3)局限于考虑周期性行为线索，如节奏性发声或重复性手势，而这些线索对于推断二元关系的演变至关重要。为了应对这些挑战，我们提出了AsyReC，一个基于多模态图的非对称二元关系分类框架，具有三个核心创新：(i)具有节点-边双重注意力的三元组图神经网络，动态加权多模态线索以捕获交互不对称性；(ii)一种clip级别的关系学习架构，保留时间连续性，从而能够对真实世界交互动态进行细粒度建模；(iii)一种周期性时间编码器，将时间索引投影到正弦/余弦波形上，以建模循环行为模式。在两个公共数据集上的大量实验表明了最先进的性能，而消融研究验证了非对称交互建模和周期性时间编码在提高真实场景中二元关系分类的鲁棒性方面的关键作用。我们的代码已公开发布在：https://github.com/tw-repository/AsyReC。
🔬 方法详解
问题定义：现有方法在二元关系分类任务中，无法有效处理关系的不对称性（例如A认为B是朋友，但B认为A是熟人），同时忽略了交互过程的时间连续性，并且没有充分利用周期性的行为模式（如语音语调的周期性变化）。这些问题导致现有方法在真实场景下的二元关系分类性能不佳。
核心思路：论文的核心思路是通过构建一个多模态图神经网络，显式地建模二元关系中的不对称性。同时，通过clip级别的关系学习来保持时间连续性，并利用周期性时间编码器来捕捉周期性的行为模式。这种设计旨在更全面、更准确地捕捉二元关系中的复杂动态。
技术框架：AsyReC框架主要包含三个核心模块：(1) 三元组图神经网络（Triplet GNN），用于建模个体之间的交互关系，并利用节点-边双重注意力机制来捕捉交互的不对称性。(2) clip级别的关系学习模块，将连续的交互片段作为一个整体进行学习，从而保持时间连续性。(3) 周期性时间编码器，将时间索引编码成正弦/余弦波形，从而捕捉周期性的行为模式。整体流程是：首先，提取多模态特征（例如，视觉、听觉特征）；然后，利用三元组图神经网络建模个体之间的关系；接着，通过clip级别的关系学习模块学习关系动态；最后，利用周期性时间编码器捕捉周期性行为模式，并将所有信息融合进行关系分类。
关键创新：该论文的关键创新在于以下三个方面：(1) 提出了一个具有节点-边双重注意力的三元组图神经网络，能够动态地加权多模态线索，从而有效地捕捉交互的不对称性。(2) 提出了一个clip级别的关系学习架构，能够保持时间连续性，从而实现对真实世界交互动态的细粒度建模。(3) 提出了一个周期性时间编码器，能够将时间索引投影到正弦/余弦波形上，从而建模循环行为模式。与现有方法相比，AsyReC能够更全面、更准确地捕捉二元关系中的复杂动态。
关键设计：在三元组图神经网络中，使用了节点-边双重注意力机制，允许模型根据节点和边的重要性动态地调整权重。在clip级别的关系学习模块中，使用了Transformer网络来学习clip内部的时间依赖关系。在周期性时间编码器中，使用了正弦/余弦函数来编码时间索引，从而捕捉周期性模式。损失函数方面，使用了交叉熵损失函数来优化分类结果。
🖼️ 关键图片
📊 实验亮点
在两个公开数据集上的实验结果表明，AsyReC框架取得了state-of-the-art的性能。消融实验验证了非对称交互建模和周期性时间编码在提高二元关系分类鲁棒性方面的关键作用。具体性能数据和对比基线未在摘要中明确给出，需查阅原文。
🎯 应用场景
该研究成果可应用于社交行为分析、人机交互、心理健康评估等领域。例如，可以用于分析社交网络中的人际关系，帮助机器人理解人类的情感和意图，或者用于评估心理疾病患者的社交能力。未来，该技术有望在更广泛的社会计算领域发挥重要作用。
📄 摘要（原文）
Dyadic social relationships, which refer to relationships between two individuals who know each other through repeated interactions (or not), are shaped by shared spatial and temporal experiences. Current computational methods for modeling these relationships face three major challenges: (1) the failure to model asymmetric relationships, e.g., one individual may perceive the other as a friend while the other perceives them as an acquaintance, (2) the disruption of continuous interactions by discrete frame sampling, which segments the temporal continuity of interaction in real-world scenarios, and (3) the limitation to consider periodic behavioral cues, such as rhythmic vocalizations or recurrent gestures, which are crucial for inferring the evolution of dyadic relationships. To address these challenges, we propose AsyReC, a multimodal graph-based framework for asymmetric dyadic relationship classification, with three core innovations: (i) a triplet graph neural network with node-edge dual attention that dynamically weights multimodal cues to capture interaction asymmetries (addressing challenge 1); (ii) a clip-level relationship learning architecture that preserves temporal continuity, enabling fine-grained modeling of real-world interaction dynamics (addressing challenge 2); and (iii) a periodic temporal encoder that projects time indices onto sine/cosine waveforms to model recurrent behavioral patterns (addressing challenge 3). Extensive experiments on two public datasets demonstrate state-of-the-art performance, while ablation studies validate the critical role of asymmetric interaction modeling and periodic temporal encoding in improving the robustness of dyadic relationship classification in real-world scenarios. Our code is publicly available at: https://github.com/tw-repository/AsyReC.