When, Where, and Why: Hierarchical Causal Explainability for Video Face Understanding with MLLMs
作者: Anubhav Kataria, Shreya Ghosh, Jingwen Ye, Abhinav Dhall
分类: cs.CV
发布日期: 2026-10-13
💡 一句话要点
提出VideoFace-X-LLM框架以解决视频面部理解的可解释性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频面部理解 可解释性 多模态大语言模型 弱监督学习 因果分析 深伪检测 情感分析
📋 核心要点
- 现有的多模态大语言模型在视频面部理解中缺乏可信的解释，尤其是对细微面部动作的处理不足。
- 本文提出VideoFace-X-LLM框架，结合ExplainFace语料库和H-TCC方法，旨在提供可解释的面部行为理解。
- 实验结果显示，微调后模型在外观、动作、情感和深伪检测等任务上均有显著提升，外观宏观F1提升了13.39。
📝 摘要（中文）
理解视频中的面部行为需要回答三个基本问题：何时发生关键面部表情、模型在该时刻关注面部的哪个区域，以及为何这些证据是必要的而非仅仅相关。现有的多模态大语言模型（MLLMs）虽然能够标注和描述视频，但在提供可信的解释方面仍显不足，尤其是对于随时间变化的小面部动作。本文提出了VideoFace-X-LLM框架，包括两个关键组件：首先，介绍了ExplainFace，一个从CelebV-HQ视频自动构建的弱监督视频-文本语料库，并通过人类评估验证，显示出在两种主干架构上的一致性提升。其次，提出了H-TCC（层次时间空间因果概念），用于识别关键时间点、面部区域，并通过有针对性的遮挡验证因果必要性。通过在ExplainFace上的微调，外观的宏观F1从19.48%提升至32.87%。
🔬 方法详解
问题定义：本文旨在解决视频面部理解中的可解释性问题，现有方法在解释小面部动作时常常缺乏准确性和可信度。
核心思路：提出VideoFace-X-LLM框架，通过ExplainFace语料库和H-TCC方法，系统性地回答何时、何地及为何发生关键面部表情，以增强模型的可解释性。
技术框架：框架包括两个主要模块：ExplainFace用于构建弱监督视频-文本语料库，H-TCC用于识别关键时间点和面部区域，并验证因果关系。
关键创新：最重要的创新在于结合了弱监督学习与层次因果分析，使得模型不仅能识别面部表情，还能提供其发生的原因，显著提升了解释的可信度。
关键设计：在模型训练中，使用了特定的损失函数以优化F1分数，并通过人类评估和双模型审计确保了数据的一致性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，通过在ExplainFace上的微调，模型的外观宏观F1从19.48%提升至32.87%，在动作、情感和深伪检测任务上分别提升了4.38、6.77和11.84，显示出显著的性能提升。
🎯 应用场景
该研究在视频监控、情感分析和虚假信息检测等领域具有广泛的应用潜力。通过提供可解释的面部行为理解，能够帮助相关领域的研究者和从业者更好地理解和利用视频数据，提升决策的准确性和透明度。
📄 摘要（原文）
Understanding facial behaviour in video requires answering three fundamental questions: when a key facial expression occurs, where the model attends on the face at that moment, and why that evidence is necessary rather than merely correlated. Today's multimodal large language models (MLLMs) can label and describe video, but they rarely provide faithful explanations, especially for small facial movements that change over time. We present VideoFace-X-LLM, a framework for explainable facial video understanding comprising two key components. First, we introduce ExplainFace, a weakly supervised video-text corpus for facial behaviour understanding, automatically constructed from CelebV-HQ videos and validated through human evaluation and a two-model audit (at most 2.3% contradictions), demonstrating consistent gains across two backbone architectures. Second, H-TCC (Hierarchical Temporal Spatial Causal Concepts), which finds the key temporal moments (When), the facial regions (Where), and verifies its causal necessity (Why) through targeted occlusion. Fine-tuning on ExplainFace raises appearance Macro F1 from 19.48% to 32.87% (+13.39), with gains of +4.38 on actions, +6.77 on temporal emotion, and +11.84 F1 on deepfake detection. We also measure the explanations pointing lift, face/edge lift, stability, an Adebayo sanity check, and a necessity test rather than only showing examples. Our models, code, and corpus are available on request for research use.