VISTA: Value-Informed Event Appraisal for Multimodal Emotion Conflict

📄 arXiv: 2609.37324v1 📥 PDF

作者: Jiale Dai, Liuxian Ma, Xiaoke Niu, Wenjing Zhang, Huiying Zhao, Zhaoxiang Liu, Shiguo Lian, Guojie Song

分类: cs.AI

发布日期: 2026-09-29

备注: 46 pages, 13 figures, 37 tables, including appendices

💡 一句话要点

提出VISTA以解决多模态情感冲突问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 情感冲突 价值信息化 情感评估 机器学习 情感计算 人机交互

📋 核心要点

  1. 现有方法在处理多模态情感冲突时，往往无法有效整合不同情感线索的解释，导致情感识别的准确性不足。
  2. 论文提出的VISTA方法通过价值信息化的评估接口，结合多模态情感线索的特征，改善了情感冲突的处理效果。
  3. 实验结果表明，VISTA在CA-MER数据集上达到了64.5%的冲突准确率，相较于传统方法有显著提升，且在多个基准测试中表现优异。

📝 摘要（中文）

情感线索之间的冲突可能各自有效：低沉的声音可能反映了目标受阻，而微笑则满足了社交义务。它们的解释依赖于事件对个体的意义。本文提出了VISTA（价值信息化情感评估），这是一个学习的七字段评估接口，基于关注点、事件关系和表达条件进行模态仲裁，同时保留联合证据残差。通过对数几率分解，情感期望与线索诊断性分离，激励了一个接口，使评估能够改变证据的解释方式。VISTA在CA-MER上达到了64.5%的冲突准确率，相较于模态门控提高了2.5个百分点，且一致性提高了0.2个百分点。评估结果表明，场景特定的评估作为中间表示有助于解释冲突的情感证据。

🔬 方法详解

问题定义：本研究旨在解决多模态情感线索之间的冲突问题。现有方法在面对情感冲突时，往往无法有效整合不同来源的情感信息，导致情感识别的准确性和一致性不足。

核心思路：VISTA方法通过引入价值信息化的评估机制，基于个体对事件的理解，动态调整情感线索的解释，从而提高情感冲突的识别能力。

技术框架：VISTA的整体架构包括七个评估字段，涉及关注点、事件关系和表达条件等模块。通过对数几率分解，分离情感期望与线索的诊断性，形成一个灵活的评估接口。

关键创新：VISTA的主要创新在于其价值信息化的评估接口，能够根据情感线索的具体情境进行动态调整，与传统的静态模态门控方法相比，提供了更为精准的情感解释。

关键设计：在模型设计中，采用了共享的Qwen2.5-Omni-7B骨干网络，并通过匹配的训练样本和步骤进行训练。此外，评估过程中引入了联合证据残差的概念，以增强情感线索的解释能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VISTA在CA-MER数据集上达到了64.5%的冲突准确率，相较于传统模态门控方法提高了2.5个百分点，并在一致性上提高了0.2个百分点。此外，使用共享的Qwen2.5-Omni-7B骨干网络，评估结果显示其在多个基准测试中表现优异，宏观CCC达到了0.600。

🎯 应用场景

VISTA方法在情感识别、情感计算和人机交互等领域具有广泛的应用潜力。通过更准确地理解和处理多模态情感冲突，能够提升智能系统在复杂社交场景中的表现，进而推动情感智能的发展。未来，VISTA还可以扩展到其他需要情感理解的应用场景，如心理健康监测和情感驱动的内容推荐等。

📄 摘要（原文）

Conflicting emotional cues can be individually valid: a subdued voice may reflect a blocked goal while a smile satisfies a social obligation. Their interpretation depends on what the event means to the person. We introduce VISTA (Value-Informed Semantic Trust Arbitration), a learned seven-field appraisal interface that conditions modality arbitration on concerns, event relations, and expression conditions while retaining a joint-evidence residual. A log-odds decomposition separates emotion expectation from cue diagnosticity, motivating an interface that lets appraisal change how evidence is interpreted. With a shared Qwen2.5-Omni-7B backbone and matched training examples and steps, VISTA reaches 64.5% conflict accuracy on CA-MER, improving on modality gating by 2.5 percentage points on conflict and 0.2 on consistency. Shuffling appraisal across scenes or removing its decision connection reduces this benefit. A common frozen-backbone probe reaches 0.600 macro CCC for appraisal readout, compared with 0.505 for emotion-only fine-tuning. Evaluations across five benchmarks connect recognition under increasing conflict with appraisal readout and downstream decision use. Together, the analyses and experiments support scene-specific appraisal as an intermediate representation that helps interpret conflicting emotional evidence.