Emotion Knowledge Enhancement for Vision Large Language Models: A Self-Verification Approach for High-Quality Emotion Instruction Data Generation

📄 arXiv: 2505.18168v1 📥 PDF

作者: Feifan Wang, Tengfei Song, Minggui He, Chang Su, Zhanglin Wu, Hao Yang, Wenming Zheng, Osamu Yoshie

分类: cs.LG, cs.GR

发布日期: 2025-05-14

💡 一句话要点

提出SEKE框架，利用自验证方法增强视觉大语言模型的情感知识，并生成高质量情感指令数据。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉大语言模型 情感识别 自监督学习 指令数据生成 面部表情分析

📋 核心要点

  1. 现有VLLM在面部情感感知方面表现不足，主要原因是缺乏高质量、多粒度的情感标注数据，限制了模型性能。
  2. SEKE方法通过整合先验知识和自验证策略，利用闭源VLLM经济高效地生成高质量情感指令数据。
  3. 实验结果表明，该方法在面部情感分析任务上显著优于现有方法，验证了所提方法的有效性。

📝 摘要（中文）

为了提升视觉大语言模型（VLLM）在面部情感感知方面的能力，解决高质量情感标注数据匮乏的问题，本文提出了一种基于情感知识增强的自验证方法（SEKE）。该方法利用闭源VLLM，通过整合先验知识，并结合离散表情、效价-唤醒度和动作单元三个粒度级别的情感描述之间的内在关联，经济高效地生成多粒度情感分析的高质量指令数据。此外，嵌入了基于不确定性感知蒙特卡洛抽样（SV-UAMC）的自验证策略，以有效提取更准确的VLLM预测，进一步提高标注的可靠性。由此构建了一个包含三种全面描述的面部情感指令数据集（FEID），为有效的模型训练提供粗细粒度的情感信息。同时，引入了一个面部情感分析基准（FEAB）来衡量VLLM的相应能力。实验结果表明，该方法在三个下游面部情感分析任务上显著优于现有方法。

🔬 方法详解

问题定义：VLLM在面部情感感知方面面临挑战，主要原因是缺乏高质量、多粒度的情感标注数据。现有方法依赖人工标注，成本高昂且难以保证标注质量，限制了VLLM在情感理解方面的性能提升。

核心思路：论文的核心思路是利用闭源VLLM的强大能力，结合情感知识增强和自验证策略，自动生成高质量的情感指令数据。通过整合先验知识，并利用不同粒度情感描述之间的关联，提高生成数据的准确性和可靠性。

技术框架：SEKE框架主要包含两个阶段：情感知识增强和自验证。在情感知识增强阶段，将先验知识（如情感描述之间的关联）融入VLLM的推理过程，指导VLLM生成更全面的情感标注。在自验证阶段，采用基于不确定性感知蒙特卡洛抽样（SV-UAMC）的策略，对VLLM的预测结果进行验证和筛选，去除不确定性较高的预测，从而提高标注的可靠性。最终生成包含离散表情、效价-唤醒度和动作单元三种描述的FEID数据集。

关键创新：该方法最重要的创新点在于提出了一个基于自验证的框架，能够利用闭源VLLM自动生成高质量的情感指令数据，从而降低了标注成本，并提高了标注质量。与现有方法相比，该方法无需人工标注，且能够生成多粒度的情感描述，为VLLM的情感理解提供了更全面的信息。

关键设计：SV-UAMC策略是关键设计之一，它通过蒙特卡洛抽样生成多个预测结果，并计算预测结果的不确定性。只有当不确定性低于阈值时，才认为该预测是可靠的，并将其添加到FEID数据集中。此外，情感知识增强模块利用了不同粒度情感描述之间的关联，例如，特定的离散表情可能对应于特定的效价-唤醒度范围和动作单元组合。这些关联被用于指导VLLM生成更一致和准确的情感标注。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用FEID数据集训练的VLLM在三个下游面部情感分析任务上取得了显著的性能提升。例如，在离散表情识别任务上，相比于现有方法，准确率提升了5%以上。此外，消融实验验证了情感知识增强和自验证策略的有效性，证明了它们对提高标注质量和模型性能的贡献。

🎯 应用场景

该研究成果可应用于人机交互、情感计算、智能监控等领域。通过提升VLLM的情感感知能力，可以实现更自然、更智能的人机交互体验。例如，在智能客服中，VLLM可以根据用户的面部表情判断用户的情绪状态，从而提供更个性化的服务。在智能监控中，VLLM可以识别异常情绪，及时发出警报，保障社会安全。未来，该技术有望在医疗健康、教育等领域发挥更大的作用。

📄 摘要（原文）

Facial emotion perception in the vision large language model (VLLM) is crucial for achieving natural human-machine interaction. However, creating high-quality annotations for both coarse- and fine-grained facial emotion analysis demands costly expertise. The lack of such high-quality instruction data limits the performance of VLLMs in facial emotion perception. To address this, we propose a self-verification approach with emotion knowledge enhancement (SEKE), which generates high-quality instruction data for multi-grained emotion analysis cost-effectively using closed-source VLLM. This approach integrates prior human knowledge to VLLM inference, guided by the inherent correlations between three grained levels of emotion descriptions, i.e., discrete expression, valence-arousal, and action unit, to reliably generate comprehensive annotations. A self-verification strategy with Uncertainty-Aware Monte Carlo sampling (SV-UAMC) is further embedded to efficiently extract more accurate VLLM predictions, further improving annotation reliability. Consequently, we construct a facial emotion instruction dataset (FEID) containing three comprehensive descriptions, which provides coarse- and fine-grained emotional information for effective model training. Additionally, we introduce a facial emotion analysis benchmark (FEAB) to measure the VLLM's corresponding ability. Our method significantly outperforms state-of-the-art methods on three downstream facial emotion analysis tasks.