Reliability-Aware Multimodal Sentiment Prediction Under Local Modality Missingness
作者: Minghao Kong, Deng Yao, Xi Zhang, Ying Gao, Jiurun Chen, Zirong Liu, Rongjie Wang
分类: cs.CV
发布日期: 2026-10-14
💡 一句话要点
提出可靠性意识的多模态情感预测以应对局部模态缺失问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态情感分析 局部模态缺失 可靠性意识网络 情感预测 深度学习
📋 核心要点
- 现有多模态情感模型在处理缺失模态时表现不佳，尤其是在局部缺失的情况下，导致情感预测的准确性下降。
- 本文提出的RM-Net通过保持时间位置和使用学习的标记来处理未观察到的模态，增强了模型对缺失数据的鲁棒性。
- 实验结果表明，融合模型在干净输入和40%缺失情况下的宏F1分别为0.655和0.634，显示出显著的性能提升。
📝 摘要（中文）
多模态情感模型通常在完整的语句上进行评估，但在实际应用中，文本、音频或视频流常常会丢失连续的片段。本文研究了在对齐的CMU-MOSEI特征上进行局部缺失的情况。我们提出的可靠性意识网络（RM-Net）保持原始时间位置，用学习的标记表示未观察到的位置，输出受观察质量限制的每种模态强度贡献，并通过对连续片段的双视图掩蔽进行训练。我们将五个RM-Net种子与LoRA适配的BERT文本专家融合，使用仅依赖于可见内容标记的融合权重。在持出分割上，融合模型在干净输入下达到0.655的宏F1，在40%的混合缺失下为0.634，两个视图的平均值超出辅助头基线0.024。我们还描述了一种可审计的单词级对齐管道，其输出不用于预测模型。
🔬 方法详解
问题定义：本文旨在解决多模态情感预测中局部模态缺失的问题。现有方法通常在完整的输入上进行评估，无法有效处理缺失模态导致的情感预测准确性下降。
核心思路：提出的RM-Net通过保持原始时间位置和使用学习的标记来表示未观察到的模态，输出受观察质量限制的每种模态强度贡献，从而增强模型对局部缺失的鲁棒性。
技术框架：RM-Net的整体架构包括多个模块：首先是输入特征的处理，其次是通过双视图掩蔽进行训练，最后与LoRA适配的BERT文本专家进行融合，形成最终的情感预测模型。
关键创新：RM-Net的主要创新在于其可靠性意识设计，能够根据观察质量动态调整模态强度贡献，这与传统方法的静态处理方式有本质区别。
关键设计：模型的关键设计包括使用学习的标记表示未观察到的位置，采用基于可见内容标记的融合权重，以及在训练过程中实施双视图掩蔽策略，以提高模型的鲁棒性和准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，融合模型在干净输入下的宏F1达0.655，而在40%混合缺失情况下为0.634，两个视图的平均值超出辅助头基线0.024，显示出显著的性能提升。这些结果表明RM-Net在处理局部模态缺失时的有效性。
🎯 应用场景
该研究的潜在应用领域包括情感分析、社交媒体监测和人机交互等。通过提高多模态情感预测的准确性，能够更好地理解用户情感，进而提升用户体验和服务质量。未来，该方法可能在实时情感识别和智能助手等领域发挥重要作用。
📄 摘要（原文）
Multimodal sentiment models are usually evaluated on complete utterances, yet streams often lose a contiguous span of text, audio, or video. We study local missingness on aligned CMU-MOSEI features. Our reliability-aware network (RM-Net) keeps the original temporal positions, represents unobserved positions with a learned token, outputs bounded per-modality intensity contributions gated by observation quality, and is trained with dual-view masking of contiguous segments. We fuse five RM-Net seeds with a LoRA-adapted BERT text expert, using a fusion weight that depends only on the visible fraction of content tokens. Architecture, checkpoint, and fusion choices were made on the validation split. On the held-out split, the fused model reaches a macro-F1 of 0.655 on clean inputs and 0.634 under 40\% mixed missingness; its two-view average exceeds the auxiliary-head baseline by 0.024 (95\% video-cluster bootstrap interval [0.003, 0.045]). Because this split was inspected during development, these numbers are not a blind test. For explanations, exact Shapley attributions over the eight modality subsets and position-level occlusion show that top-ranked positions reduce the predicted-class probability faster than random positions (AUC gap 0.113 on validation). We also describe an auditable word-level alignment pipeline for raw clips; its outputs do not feed the predictive models.