Quality-Aware Multimodal Fusion Reveals Implicit Identity in Valence-Arousal Features

📄 arXiv: 2607.21347v1 📥 PDF

作者: Jisu Kim, Benjamin S. Riggan

分类: cs.CV

发布日期: 2026-07-23

备注: 10 pages, 3 figures, 6 tables. Accepted for publication at IEEE International Joint Conference on Biometrics (IJCB), 2026

💡 一句话要点

提出质量感知多模态融合以解决面部识别挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 质量感知 面部识别 情感分析 软生物识别 深度学习

📋 核心要点

  1. 现有的面部识别方法在非约束环境中面临表情变化、遮挡和光照不佳等挑战，导致识别性能下降。
  2. 本文提出质量感知自适应融合（QAAF），通过对每个样本和模态的可靠性进行估计，动态调整模态的贡献。
  3. 在Aff-wild2数据集上，QAAF的CCC达到0.472，显著提高了基线模型的表现，并在缺失模态时保持较高的鲁棒性。

📝 摘要（中文）

传统的面部识别依赖静态外观线索，在表情变化、遮挡和光照不佳的情况下效果下降。本文假设视听表达动态包含与身份区分相关的信息，提出质量感知自适应融合（QAAF），通过学习的软门控和质量依赖的丢弃机制，适应不同模态的贡献。QAAF在Aff-wild2数据集上实现了0.472的平均一致性相关系数（CCC），显著优于基线模型。此外，QAAF在缺失模态时表现出更强的鲁棒性，CCC仅下降7.5-34.4%。VA训练的特征在软生物识别方法中表现优异，结合ArcFace降低了EER，表明多模态VA估计作为传统面部识别的补充具有重要意义。

🔬 方法详解

问题定义：本文旨在解决传统面部识别在复杂环境下的性能下降问题，尤其是在表情变化、遮挡和光照不佳的情况下，现有方法依赖静态外观线索，难以有效识别身份。

核心思路：论文提出通过视听表达动态来补充静态外观信息，利用多模态表示来提取身份区分信息。质量感知自适应融合（QAAF）通过学习模态的可靠性，动态调整各模态的贡献，从而提高识别性能。

技术框架：QAAF的整体架构包括模态输入的质量评估模块、软门控机制和质量依赖的丢弃机制。首先，对每个模态进行质量评估，然后通过软门控调整模态的贡献，最后结合多个模态的输出进行融合。

关键创新：QAAF的主要创新在于其质量感知机制，能够根据输入视频的质量动态调整模态贡献，这与传统的静态融合方法有本质区别。

关键设计：在QAAF中，使用了基于学习的软门控来评估每个模态的可靠性，并设计了质量依赖的丢弃机制，以增强模型对不同输入质量的适应能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，QAAF在Aff-wild2数据集上实现了0.472的平均一致性相关系数（CCC），相比基线模型（0.415）和单一骨干模型（0.288）有显著提升。此外，当缺失一个模态时，CCC仅下降7.5-34.4%，显示出较强的鲁棒性。

🎯 应用场景

该研究的潜在应用领域包括情感分析、智能监控和人机交互等。通过结合多模态信息，能够在复杂环境中提高身份识别的准确性和鲁棒性，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Conventional face recognition relies on static appearance cues and degrades in unconstrained settings with expression variation, occlusion, and poor lighting. We hypothesize that audiovisual expression dynamics carry identity-discriminative information complementary to static appearance, and that extracting this signal requires multimodal representations robust to the variable input quality of in-the-wild video. To learn such representations, we cast multimodal valence-arousal (VA) estimation as a pretext task and propose Quality-Aware Adaptive Fusion (QAAF), which estimates per-sample, per-modality reliability and adapts each modality's contribution through learned soft gating and a quality-dependent dropout. For the problem of VA estimation, QAAF achieves an average Concordance Correlation Coefficient (CCC) of 0.472 via late fusion ensembling on Aff-wild2, improving over a baseline ensemble under the same setting (0.415) as well as a single-backbone baseline (0.288). Furthermore, the proposed QAAF demonstrates greater resilience to unavailable modalities, with only a 7.5-34.4% relative decrease in CCC when one modality is missing. We then probe whether these VA-trained features encode identity without identity-specific training. On AFEW-VA (67 actors) and YTF (1,595 subjects), VA-trained backbone features rank first among evaluated soft biometric methods, and score-level fusion with ArcFace lowers EER on both datasets (0.022 to 0.021 on AFEW-VA, 0.106 to 0.104 on YTF), correcting 68.2% of ArcFace's false accepts on AFEW-VA. These findings establish multimodal VA estimation as a soft biometric modality complementary to conventional face recognition.