SVF-CR: Synchronized Visual-Facial Cross-Refinement for Multimodal Ambivalence and Hesitancy Recognition

📄 arXiv: 2607.09417v1 📥 PDF

作者: Hyein Park, Namho Kim, Junhwa Kim

分类: cs.CV, cs.AI

发布日期: 2026-07-10

🔗 代码/项目: GITHUB

💡 一句话要点

提出SVF-CR框架以解决多模态模糊与犹豫识别问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 行为识别 深度学习 视觉-面部交叉注意力 心理健康监测

📋 核心要点

  1. 现有方法在模糊和犹豫的识别中未能有效整合多模态信息，导致识别精度不足。
  2. 论文提出的SVF-CR框架通过同步视觉和面部信息的交叉精炼，增强了多模态证据的融合效果。
  3. 在BAH公共评估数据集上，SVF-CR框架的宏F1值达到了0.7156，相较于基线方法有显著提升。

📝 摘要（中文）

模糊和犹豫是通过语言内容、面部行为、视觉上下文和声学线索等多种方式表达的微妙行为状态。因此，有效的识别不仅需要提取信息丰富的单模态表示，还需要建模时间对齐的行为证据在各模态之间的交互。本文提出了一种同步视觉-面部交叉精炼框架（SVF-CR），用于模糊和犹豫识别。该方法首先使用相同的时间划分提取整个视频段令牌和裁剪面部段令牌。通过模态内自注意力和双向视觉-面部交叉注意力精炼同步的视觉和面部令牌，使整个视频上下文和局部面部行为相互精炼。最后，通过一致性和差异性建模构建段级视觉-面部证据，并在最终决策阶段使用成对证据融合与文本和声学特征进行融合。

🔬 方法详解

问题定义：本论文旨在解决模糊和犹豫的识别问题，现有方法在多模态信息的整合上存在不足，导致识别效果不理想。

核心思路：提出的SVF-CR框架通过同步视觉和面部信息的交叉精炼，利用时间对齐的行为证据实现更有效的多模态融合。

技术框架：整体架构包括视频段和面部段的令牌提取、模态内自注意力和双向交叉注意力精炼、段级视觉-面部证据构建及最终的成对证据融合。

关键创新：最重要的创新在于引入了双向视觉-面部交叉注意力机制，使得视觉和面部信息能够在时间上相互影响和精炼，显著提升了识别性能。

关键设计：在模型设计中，采用了一致性和差异性建模来构建段级证据，并在最终决策阶段通过成对证据融合来整合文本和声学特征。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，SVF-CR框架在BAH公共评估数据集上的宏F1值达到了0.7156，相较于全球视觉-面部令牌融合和同步证据基线方法有显著提升，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括心理健康监测、人机交互和情感计算等。通过更准确地识别模糊和犹豫的行为状态，可以为相关领域提供更有效的支持和干预措施，提升用户体验和服务质量。

📄 摘要（原文）

Ambivalence and hesitancy are subtle behavioral states that are expressed through a combination of verbal content, facial behavior, visual context, and acoustic cues. Effective recognition therefore requires not only extracting informative unimodal representations, but also modeling how temporally aligned behavioral evidence interacts across modalities. In this paper, we propose a synchronized visual-facial cross-refinement framework (SVF-CR) with pairwise multimodal evidence fusion for ambivalence and hesitancy recognition. The proposed method first extracts whole-video segment tokens and cropped-face segment tokens using the same temporal partition. The synchronized visual and facial tokens are refined through intra-modal self-attention and bidirectional visual-facial cross-attention, allowing whole-video context and local facial behavior to mutually refine each other before evidence construction. We then construct segment-level visual-facial evidence using consistency and discrepancy modeling, followed by temporal self-attention and attention pooling. Textual and acoustic features are lightly refined through context self-attention and are fused with the enhanced visual-facial evidence at the final decision stage using pairwise evidence fusion. Experiments on the BAH (Behavioral Ambivalence/Hesitancy) public evaluation split show that the proposed synchronized visual-facial cross-refinement improves public macro-F1 over both global visual-face token fusion and synchronized evidence baselines, achieving a public macro-F1 of 0.7156. Code is available at : https://github.com/hiinnnii/BAH-Challenge-ECCV2026_SVF-CR.