Solution for 8th Competition on Affective & Behavior Analysis in-the-wild

📄 arXiv: 2503.11115v1 📥 PDF

作者: Jun Yu, Yunxiang Zhang, Xilong Lu, Yang Zheng, Yongqi Wang, Lingsi Zhu

分类: cs.CV

发布日期: 2025-03-14

💡 一句话要点

提出一种基于音频-视觉多模态融合的AU检测方法，提升野外环境下的面部动作单元识别精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 面部动作单元检测 多模态融合 音频特征 视觉特征 Transformer ConvNeXt 情感识别

📋 核心要点

  1. 现有方法在野外环境下AU检测精度不足，难以应对复杂光照、遮挡等挑战。
  2. 提出一种音频-视觉多模态融合方法，利用音频信息辅助提升视觉AU检测的鲁棒性。
  3. 使用ConvNeXt提取图像特征，Whisper提取音频特征，并通过Transformer进行特征融合，提升AU检测精度。

📝 摘要（中文）

本报告介绍了我们在第八届野外情感行为分析竞赛（ABAW）中，针对动作单元（AU）检测挑战提出的解决方案。为了在野外环境中实现鲁棒和精确的面部动作单元分类，我们引入了一种创新的方法，该方法利用了音频-视觉多模态数据。我们的方法采用ConvNeXt作为图像编码器，并使用Whisper提取Mel频谱特征。对于这些特征，我们利用基于Transformer编码器的特征融合模块来整合音频和图像特征中嵌入的情感信息。这确保了为后续在Aff-Wild2数据集上训练的多层感知器（MLP）提供丰富的高维特征表示，从而提高AU检测的准确性。

🔬 方法详解

问题定义：论文旨在解决野外环境下，面部动作单元（AU）检测精度不高的问题。现有方法在处理复杂光照、姿态变化、遮挡等情况时，鲁棒性较差，导致AU检测性能下降。

核心思路：论文的核心思路是利用音频信息作为视觉信息的补充，通过多模态融合的方式，提升AU检测的准确性和鲁棒性。音频信息可以提供关于情感状态的额外线索，从而帮助模型更好地理解面部表情。

技术框架：整体框架包括三个主要模块：1) 图像特征提取模块：使用ConvNeXt作为图像编码器，提取面部图像的视觉特征。2) 音频特征提取模块：使用Whisper模型提取音频的Mel频谱特征。3) 特征融合模块：使用基于Transformer编码器的特征融合模块，将视觉特征和音频特征进行融合，得到融合后的高维特征表示。最后，使用多层感知器（MLP）对融合后的特征进行分类，预测AU的激活状态。

关键创新：该方法的主要创新在于引入了音频信息进行AU检测，并设计了基于Transformer的特征融合模块，能够有效地整合音频和视觉特征。与仅使用视觉信息的方法相比，该方法能够更好地利用多模态数据中的情感信息，从而提升AU检测的性能。

关键设计：图像编码器采用预训练的ConvNeXt模型，音频特征提取采用预训练的Whisper模型。Transformer编码器用于特征融合，具体结构未知（原文未详细描述）。损失函数和训练策略未知（原文未详细描述）。

📊 实验亮点

论文主要贡献在于提出了一个多模态融合的AU检测框架，但具体的实验结果和性能提升数据在摘要中并未提及。因此，实验亮点未知。

🎯 应用场景

该研究成果可应用于情感识别、人机交互、心理健康评估等领域。通过准确检测面部动作单元，可以更深入地理解人类的情感状态，从而改善人机交互体验，并为心理健康评估提供客观依据。未来，该技术还可应用于智能客服、虚拟助手等场景。

📄 摘要（原文）

In this report, we present our solution for the Action Unit (AU) Detection Challenge, in 8th Competition on Affective Behavior Analysis in-the-wild. In order to achieve robust and accurate classification of facial action unit in the wild environment, we introduce an innovative method that leverages audio-visual multimodal data. Our method employs ConvNeXt as the image encoder and uses Whisper to extract Mel spectrogram features. For these features, we utilize a Transformer encoder-based feature fusion module to integrate the affective information embedded in audio and image features. This ensures the provision of rich high-dimensional feature representations for the subsequent multilayer perceptron (MLP) trained on the Aff-Wild2 dataset, enhancing the accuracy of AU detection.