Multi-Track Multimodal Learning on iMiGUE: Micro-Gesture and Emotion Recognition

📄 arXiv: 2512.23291v1 📥 PDF

作者: Arman Martirosyan, Shahane Tigranyan, Maria Razzhivina, Artak Aslanyan, Nazgul Salikhova, Ilya Makarov, Andrey Savchenko, Aram Avetisyan

分类: cs.CV

发布日期: 2025-12-29

💡 一句话要点

针对iMiGUE数据集，提出多轨多模态学习框架用于微手势和情感识别

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 微手势识别 情感识别 多模态学习 跨模态融合 行为分析 iMiGUE数据集 MViTv2 姿态估计

📋 核心要点

  1. 微手势和情感识别面临捕捉细微行为模式的挑战，现有方法难以充分利用多模态信息。
  2. 论文提出多轨多模态学习框架，分别针对微手势和情感识别设计了跨模态融合模块。
  3. 在iMiGUE数据集上的实验表明，该方法在基于行为的情感预测任务中取得了优异的性能，排名第二。

📝 摘要（中文）

微手势识别和基于行为的情感预测都是极具挑战性的任务，需要对细微的人类行为进行建模，主要利用视频和骨骼姿态数据。本文提出了两种多模态框架，旨在解决iMiGUE数据集上的这两个问题。对于微手势分类，我们探索了RGB和基于3D姿态的表示的互补优势，以捕捉细微的时空模式。为了全面表示手势，分别使用MViTv2-S和2s-AGCN提取视频和骨骼嵌入，然后通过跨模态Token融合模块整合空间和姿态信息。对于情感识别，我们的框架扩展到基于行为的情感预测，这是一个基于视觉线索识别情感状态的二元分类任务。我们利用SwinFace和MViTv2-S模型提取面部和上下文嵌入，并通过InterFusion模块融合它们，旨在捕捉情感表达和身体手势。在MiGA 2025挑战赛的iMiGUE数据集上进行的实验表明，我们的方法在基于行为的情感预测任务中表现出强大的性能和准确性，并获得了第二名。

🔬 方法详解

问题定义：论文旨在解决微手势识别和基于行为的情感预测两个问题。现有方法在处理细微、复杂的时空行为模式以及有效融合多模态信息方面存在不足，难以准确识别微手势和情感状态。

核心思路：论文的核心思路是利用多模态信息互补的优势，设计专门的融合模块，分别针对微手势和情感识别任务，将不同模态的信息进行有效整合，从而提升识别的准确性和鲁棒性。针对微手势，融合视频和骨骼姿态信息；针对情感识别，融合面部和上下文信息。

技术框架：整体框架包含两个主要分支：微手势识别和情感识别。 1. 微手势识别：使用MViTv2-S提取视频嵌入，2s-AGCN提取骨骼姿态嵌入，然后通过Cross-Modal Token Fusion模块进行融合。 2. 情感识别：使用SwinFace提取面部嵌入，MViTv2-S提取上下文嵌入，然后通过InterFusion模块进行融合。 两个分支的输出分别用于微手势分类和情感预测。

关键创新：论文的关键创新在于针对不同的任务设计了特定的跨模态融合模块。Cross-Modal Token Fusion模块专注于融合视频和骨骼姿态的时空信息，而InterFusion模块则侧重于捕捉面部表情和身体姿势的情感线索。这种针对性设计能够更有效地利用多模态信息，提升识别性能。

关键设计： 1. Cross-Modal Token Fusion模块：具体融合方式未知，但其目标是有效结合视频和骨骼姿态的特征表示。 2. InterFusion模块：具体融合方式未知，但其目标是有效结合面部和上下文的特征表示。 3. 模型选择：选择MViTv2-S、2s-AGCN和SwinFace等先进模型提取特征，保证了特征提取的质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该方法在iMiGUE数据集的MiGA 2025挑战赛中，在基于行为的情感预测任务中获得了第二名，证明了该方法在实际应用中的有效性。虽然论文中没有给出具体的性能指标和提升幅度，但排名本身就说明了该方法的竞争力。

🎯 应用场景

该研究成果可应用于人机交互、行为分析、情感计算等领域。例如，在智能客服中，可以识别用户的手势和情感状态，从而提供更个性化的服务。在医疗健康领域，可以用于监测患者的情绪变化，辅助心理疾病的诊断和治疗。在智能安防领域，可以用于识别异常行为，提高安全预警能力。

📄 摘要（原文）

Micro-gesture recognition and behavior-based emotion prediction are both highly challenging tasks that require modeling subtle, fine-grained human behaviors, primarily leveraging video and skeletal pose data. In this work, we present two multimodal frameworks designed to tackle both problems on the iMiGUE dataset. For micro-gesture classification, we explore the complementary strengths of RGB and 3D pose-based representations to capture nuanced spatio-temporal patterns. To comprehensively represent gestures, video, and skeletal embeddings are extracted using MViTv2-S and 2s-AGCN, respectively. Then, they are integrated through a Cross-Modal Token Fusion module to combine spatial and pose information. For emotion recognition, our framework extends to behavior-based emotion prediction, a binary classification task identifying emotional states based on visual cues. We leverage facial and contextual embeddings extracted using SwinFace and MViTv2-S models and fuse them through an InterFusion module designed to capture emotional expressions and body gestures. Experiments conducted on the iMiGUE dataset, within the scope of the MiGA 2025 Challenge, demonstrate the robust performance and accuracy of our method in the behavior-based emotion prediction task, where our approach secured 2nd place.