A Novel Combined Optical Flow Approach for Comprehensive Micro-Expression Recognition

📄 arXiv: 2510.15471v1 📥 PDF

作者: Vu Tram Anh Khuong, Thi Bich Phuong Man, Luu Tu Nguyen, Thanh Ha Le, Thi Duyen Ngo

分类: cs.CV

发布日期: 2025-10-17

期刊: Proceedings of the Fifth International Conference on Intelligent Systems and Networks. ICISN 2025

DOI: 10.1007/978-981-95-1746-6_42

💡 一句话要点

提出结合起始到峰值与峰值到结束阶段光流的微表情识别方法

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 微表情识别 光流法 组合光流 时间动态 情感分析

📋 核心要点

  1. 现有微表情识别方法主要依赖起始到峰值阶段的光流信息，忽略了峰值到结束阶段的关键时间动态。
  2. 论文提出组合光流(COF)方法，通过整合起始到峰值和峰值到结束两个阶段的光流信息，实现更全面的运动分析。
  3. 实验结果表明，COF方法在CASMEII和SAMM数据集上优于单一光流方法，有效提升了微表情识别的性能。

📝 摘要（中文）

面部微表情是短暂且非自愿的面部运动，能够揭示隐藏的情绪。大多数依赖光流的微表情识别(MER)方法通常只关注起始到峰值阶段，忽略了包含关键时间动态的峰值到结束阶段。本研究提出了一种组合光流(COF)，整合了这两个阶段以增强特征表示。COF提供了更全面的运动分析，从而提高了MER性能。在CASMEII和SAMM数据集上的实验结果表明，COF优于单一光流方法，证明了其在捕捉微表情动态方面的有效性。

🔬 方法详解

问题定义：现有基于光流的微表情识别方法通常只关注微表情从起始到峰值(onset-to-apex)的阶段，而忽略了从峰值到结束(apex-to-offset)的阶段。然而，apex-to-offset阶段包含了重要的时间动态信息，对于准确识别微表情至关重要。因此，如何有效利用apex-to-offset阶段的信息，提升微表情识别的性能是一个关键问题。

核心思路：论文的核心思路是将onset-to-apex和apex-to-offset两个阶段的光流信息进行有效结合，从而获得更全面、更具代表性的微表情运动特征。通过整合两个阶段的信息，可以弥补单一阶段光流信息的不足，更准确地捕捉微表情的细微变化。

技术框架：该方法的技术框架主要包括以下几个步骤：1) 对输入视频进行预处理，例如人脸检测和对齐；2) 分别计算onset-to-apex和apex-to-offset两个阶段的光流；3) 将两个阶段的光流信息进行融合，形成组合光流(COF)特征；4) 使用机器学习或深度学习模型对COF特征进行分类，实现微表情识别。

关键创新：该论文最关键的创新点在于提出了组合光流(COF)的概念，并将其应用于微表情识别。与传统的单一光流方法相比，COF能够更全面地捕捉微表情的运动信息，从而提高识别的准确性。COF通过简单有效的融合方式，充分利用了微表情时间维度上的信息。

关键设计：论文中可能涉及的关键设计包括：1) 如何选择合适的光流算法来计算onset-to-apex和apex-to-offset阶段的光流；2) 如何对两个阶段的光流信息进行有效的融合，例如采用加权平均、拼接或更复杂的融合策略；3) 如何选择合适的分类器，例如支持向量机(SVM)或卷积神经网络(CNN)，对COF特征进行分类。具体的参数设置、损失函数和网络结构等细节需要参考论文原文。

📊 实验亮点

实验结果表明，提出的组合光流(COF)方法在CASMEII和SAMM数据集上均取得了优于单一光流方法的性能。具体提升幅度需要参考论文原文中的实验数据，但总体而言，COF方法能够更有效地捕捉微表情的动态信息，从而提高识别的准确率。

🎯 应用场景

该研究成果可应用于心理学研究、安全监控、人机交互等领域。例如，在心理学研究中，可以帮助研究人员更准确地分析个体的情绪状态；在安全监控中，可以用于检测潜在的犯罪行为；在人机交互中，可以使机器更好地理解人类的情感，从而提供更自然、更智能的服务。

📄 摘要（原文）

Facial micro-expressions are brief, involuntary facial movements that reveal hidden emotions. Most Micro-Expression Recognition (MER) methods that rely on optical flow typically focus on the onset-to-apex phase, neglecting the apex-to-offset phase, which holds key temporal dynamics. This study introduces a Combined Optical Flow (COF), integrating both phases to enhance feature representation. COF provides a more comprehensive motion analysis, improving MER performance. Experimental results on CASMEII and SAMM datasets show that COF outperforms single optical flow-based methods, demonstrating its effectiveness in capturing micro-expression dynamics.