Follow the Clues, Frame the Truth: Hybrid-evidential Deductive Reasoning in Open-Vocabulary Multimodal Emotion Recognition

📄 arXiv: 2603.16463v1 📥 PDF

作者: Yu Liu, Lei Zhang, Haoxun Li, Hanlei Shi, Yuxuan Ding, Leyuan Qu, Taihao Li

分类: cs.AI, cs.HC

发布日期: 2026-03-17

💡 一句话要点

提出HyDRA，通过混合证据演绎推理解决开放词汇多模态情感识别中的歧义性问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感识别 开放词汇 演绎推理 强化学习 证据推理

📋 核心要点

  1. 开放词汇多模态情感识别面临多模态线索模糊性的挑战，现有方法易受数据先验影响，忽略关键情感线索。
  2. HyDRA架构采用混合证据演绎推理，通过提出-验证-决策协议，重建细微情感状态，协调不同模态的观察结果。
  3. 通过强化学习优化推理轨迹，HyDRA在模糊和冲突场景中显著优于现有基线，并提供可解释的证据追踪。

📝 摘要（中文）

开放词汇多模态情感识别(OV-MER)由于多模态线索的模糊性而具有内在挑战性，这通常源于不同的未观察到的情境动态。尽管多模态大型语言模型(MLLM)提供了广泛的语义覆盖，但它们的性能常常受到过早地致力于主导数据先验的限制，导致次优的启发式方法，忽略了跨模态的关键的、互补的情感线索。我们认为，有效的情感推理需要的不仅仅是表面层次的关联；它需要通过综合多个基于证据的理性来重建细微的情感状态，从而协调来自不同潜在视角的这些观察结果。我们引入了HyDRA，一种混合证据演绎推理架构，它将推理形式化为一个提出-验证-决策协议。为了内化这个溯因过程，我们采用具有分层奖励塑造的强化学习，将推理轨迹与最终任务性能对齐，以确保它们最好地协调观察到的多模态线索。系统评估验证了我们的设计选择，HyDRA始终优于强大的基线——尤其是在模糊或冲突的场景中——同时提供可解释的、诊断性的证据追踪。

🔬 方法详解

问题定义：论文旨在解决开放词汇多模态情感识别(OV-MER)中，由于多模态信息模糊和冲突导致的情感识别不准确问题。现有方法，特别是基于多模态大语言模型的方法，容易过早地依赖于主导模态的信息，忽略其他模态中重要的情感线索，导致识别性能下降。

核心思路：论文的核心思路是将情感推理过程形式化为一个“提出-验证-决策”的演绎推理过程。通过综合来自不同模态的证据，提出多个可能的解释，然后验证这些解释的合理性，最终做出决策。这种方法旨在克服现有方法对单一模态的过度依赖，从而更准确地识别情感。

技术框架：HyDRA架构包含三个主要模块：1) 证据提取模块：从不同的模态（如文本、图像、音频）中提取情感相关的证据。2) 假设生成与验证模块：基于提取的证据，提出多个关于情感状态的假设，并对这些假设进行验证。3) 决策模块：综合所有验证过的假设，做出最终的情感识别决策。整个过程通过强化学习进行优化，目标是使推理轨迹与最终任务性能对齐。

关键创新：该论文的关键创新在于将演绎推理引入到多模态情感识别中，并将其形式化为一个“提出-验证-决策”的框架。与现有方法相比，HyDRA能够更好地处理多模态信息之间的冲突和不确定性，从而提高情感识别的准确性。此外，通过强化学习优化推理过程，使得模型能够更好地适应不同的场景和数据分布。

关键设计：HyDRA使用分层奖励塑造的强化学习来训练模型。具体来说，模型在每个推理步骤都会获得奖励，奖励的计算基于当前步骤的推理结果与最终情感识别结果之间的关系。这种分层奖励机制能够引导模型学习有效的推理策略，从而提高情感识别的准确性。此外，模型还使用了可解释的证据追踪机制，可以追踪每个推理步骤所依赖的证据，从而提高模型的可解释性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HyDRA在开放词汇多模态情感识别任务中显著优于现有基线方法，尤其是在处理模糊或冲突的场景时。HyDRA不仅提高了情感识别的准确性，还提供了可解释的证据追踪，有助于理解模型的推理过程。具体性能提升数据未知，但论文强调了在复杂场景下的优势。

🎯 应用场景

该研究成果可应用于智能客服、情感分析、人机交互等领域。通过更准确地识别用户的情感状态，可以提升用户体验，改善沟通效果。例如，在智能客服中，可以根据用户的情感状态调整回复策略，提供更个性化的服务。在人机交互中，可以使机器人更好地理解人类的情感，从而进行更自然、更有效的互动。

📄 摘要（原文）

Open-Vocabulary Multimodal Emotion Recognition (OV-MER) is inherently challenging due to the ambiguity of equivocal multimodal cues, which often stem from distinct unobserved situational dynamics. While Multimodal Large Language Models (MLLMs) offer extensive semantic coverage, their performance is often bottlenecked by premature commitment to dominant data priors, resulting in suboptimal heuristics that overlook crucial, complementary affective cues across modalities. We argue that effective affective reasoning requires more than surface-level association; it necessitates reconstructing nuanced emotional states by synthesizing multiple evidence-grounded rationales that reconcile these observations from diverse latent perspectives. We introduce HyDRA, a Hybrid-evidential Deductive Reasoning Architecture that formalizes inference as a Propose-Verify-Decide protocol. To internalize this abductive process, we employ reinforcement learning with hierarchical reward shaping, aligning the reasoning trajectories with final task performance to ensure they best reconcile the observed multimodal cues. Systematic evaluations validate our design choices, with HyDRA consistently outperforming strong baselines--especially in ambiguous or conflicting scenarios--while providing interpretable, diagnostic evidence traces.