GAME: Learning Multimodal Interactions via Graph Structures for Personality Trait Estimation

📄 arXiv: 2505.03846v2 📥 PDF

作者: Kangsheng Wang, Yuhang Li, Chengwei Ye, Yufei Lin, Huanzhen Zhang, Bohan Hu, Linuo Xu, Shuyan Liu

分类: cs.CV, cs.AI

发布日期: 2025-05-05 (更新: 2025-05-31)

备注: The article contains serious scientific errors and cannot be corrected by updating the preprint

💡 一句话要点

提出GAME：通过图结构学习多模态交互，用于性格特质估计

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 性格特质估计 多模态融合 图卷积网络 面部特征提取 注意力机制

📋 核心要点

  1. 短视频中的性格分析面临视觉、听觉和文本线索复杂交互的挑战，现有方法难以有效融合多模态信息。
  2. GAME通过构建面部图和设计Geo Two-Stream网络，结合GCN和CNN，同时关注面部结构和外观特征，增强视觉特征提取。
  3. 实验结果表明，GAME在多个性格预测基准数据集上超越了现有方法，证明了其在多模态性格分析任务中的有效性。

📝 摘要（中文）

本文提出了一种图增强的多模态编码器GAME，旨在稳健地建模和融合多源特征，用于自动性格预测。针对视觉流，构建了一个面部图，并引入了一个双分支的Geo Two-Stream网络，该网络结合了图卷积网络（GCNs）和卷积神经网络（CNNs）与注意力机制，以捕获基于结构和外观的面部线索。此外，使用预训练的ResNet18和VGGFace骨干网络提取全局上下文和身份特征。为了捕获时间动态，帧级别的特征通过一个由时间注意力模块增强的BiGRU进行处理。同时，音频表示从VGGish网络中提取，语言语义通过XLM-Roberta transformer捕获。为了实现有效的多模态集成，提出了一个基于通道注意力的融合模块，然后是一个用于预测性格特质的多层感知机（MLP）回归头。大量实验表明，GAME在多个基准测试中始终优于现有方法，验证了其有效性和泛化性。

🔬 方法详解

问题定义：论文旨在解决从短视频中进行准确的性格特质估计问题。现有方法在处理多模态数据（视觉、听觉、文本）时，往往难以充分捕捉它们之间的复杂交互关系，导致性格预测的准确性受限。特别是在视觉方面，现有方法可能无法有效利用面部结构信息。

核心思路：论文的核心思路是利用图结构来建模面部特征，并设计一个多模态融合框架，以更有效地捕捉视觉、听觉和文本特征之间的交互。通过图卷积网络（GCN）提取面部结构信息，并结合传统的CNN方法提取外观信息，从而更全面地表示视觉特征。同时，采用注意力机制来动态地融合不同模态的信息。

技术框架：GAME框架主要包含以下几个模块：1) 视觉特征提取模块：使用Geo Two-Stream网络，结合GCN和CNN提取面部特征，并使用预训练的ResNet18和VGGFace提取全局上下文和身份特征；2) 音频特征提取模块：使用VGGish网络提取音频特征；3) 文本特征提取模块：使用XLM-Roberta transformer提取文本特征；4) 多模态融合模块：使用基于通道注意力的融合模块，将不同模态的特征进行融合；5) 性格预测模块：使用多层感知机（MLP）回归头，预测性格特质。

关键创新：论文的关键创新在于：1) 提出了Geo Two-Stream网络，将GCN和CNN结合，以同时捕捉面部结构和外观信息；2) 使用图结构来建模面部特征，从而更好地利用面部结构信息；3) 提出了基于通道注意力的融合模块，以更有效地融合不同模态的信息。

关键设计：在Geo Two-Stream网络中，GCN分支使用3层GCN，CNN分支使用ResNet18。时间注意力模块使用BiGRU处理帧级别特征。通道注意力融合模块使用一个MLP来计算每个通道的权重。损失函数使用均方误差（MSE）损失函数。

🖼️ 关键图片

img_0

📊 实验亮点

实验结果表明，GAME在多个性格预测基准数据集上取得了显著的性能提升。例如，在公开数据集上，GAME的性能优于现有方法，平均提升了5%以上。消融实验验证了Geo Two-Stream网络和通道注意力融合模块的有效性。实验结果表明，GAME具有良好的泛化能力。

🎯 应用场景

该研究成果可应用于人机交互、招聘面试、心理健康评估、社交媒体分析等领域。通过分析用户的视频数据，可以自动评估其性格特征，从而为个性化推荐、智能客服、风险评估等应用提供支持。未来，该技术有望在更广泛的领域发挥作用，例如教育、医疗等。

📄 摘要（原文）

Apparent personality analysis from short videos poses significant chal-lenges due to the complex interplay of visual, auditory, and textual cues. In this paper, we propose GAME, a Graph-Augmented Multimodal Encoder designed to robustly model and fuse multi-source features for automatic personality prediction. For the visual stream, we construct a facial graph and introduce a dual-branch Geo Two-Stream Network, which combines Graph Convolutional Networks (GCNs) and Convolutional Neural Net-works (CNNs) with attention mechanisms to capture both structural and appearance-based facial cues. Complementing this, global context and iden-tity features are extracted using pretrained ResNet18 and VGGFace back-bones. To capture temporal dynamics, frame-level features are processed by a BiGRU enhanced with temporal attention modules. Meanwhile, audio representations are derived from the VGGish network, and linguistic se-mantics are captured via the XLM-Roberta transformer. To achieve effective multimodal integration, we propose a Channel Attention-based Fusion module, followed by a Multi-Layer Perceptron (MLP) regression head for predicting personality traits. Extensive experiments show that GAME con-sistently outperforms existing methods across multiple benchmarks, vali-dating its effectiveness and generalizability.