Text-Anchored Modality Experts with Uncertainty-Guided Routing for Multimodal Sentiment Analysis

📄 arXiv: 2610.27571v1 📥 PDF

作者: Xiaohua Huang, Bingrui Lei, Xiuyan hao, Ling Zhou, Yuan Zong, Wenming Zheng, Guoying Zhao

分类: cs.CV

发布日期: 2026-10-20

备注: 10 pages, 1 figure

💡 一句话要点

提出文本锚定的模态专家以解决多模态情感分析问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 不确定性引导 模态专家 文本锚定 音频视频融合 深度学习 机器学习

📋 核心要点

  1. 现有多模态情感分析方法未能充分利用语言的主导作用，导致模态处理不对称，影响分析效果。
  2. 本文提出的TAME方法通过不确定性引导路由，利用文本作为固定专家，动态选择音频和视频模态作为辅助专家，提升了分析的准确性。
  3. 在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上的实验表明，TAME在大多数指标上达到了最先进的性能，且显著减少了计算资源消耗。

📝 摘要（中文）

多模态情感分析（MSA）旨在通过整合多种模态来理解用户生成的视频。现有方法往往将模态视为对称，忽视了语言提供的主导语义先验，而非语言信号则是互补且易受噪声影响。为此，本文提出了一种文本锚定的模态专家与不确定性引导路由的方法（TAME），将MSA重新构建为不确定性引导的精炼范式，其中语言先验通过选择性信任的非语言证据进行校准和增强。实验结果表明，TAME在多个指标上实现了最先进的性能，同时参数数量减少了78.7%，FLOPs减少了41.2%。

🔬 方法详解

问题定义：本文旨在解决多模态情感分析中模态处理对称性不足的问题，现有方法未能充分利用语言模态的主导作用，导致分析效果不佳。

核心思路：TAME方法通过不确定性引导路由，将语言模态作为固定专家，动态选择音频和视频模态作为辅助专家，从而实现更可靠的模态融合。

技术框架：TAME采用不对称的混合模态专家框架，包含文本特征、音频-文本和视频-文本的交叉模态分支，利用轻量级的先知头量化每个模态的预测不确定性。

关键创新：TAME的主要创新在于引入不确定性引导路由机制，使得模态融合过程更加可靠，显著提升了多模态情感分析的性能。

关键设计：在设计中，使用了轻量级的先知头来量化样本级的预测不确定性，并将该不确定性指标纳入模态路由器，实现可靠性感知的专家聚合与融合。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，TAME在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上实现了最先进的性能，参数数量减少了78.7%，FLOPs减少了41.2%，相较于混合专家基线具有显著的性能提升，验证了不对称专家构建与不确定性引导路由的有效性。

🎯 应用场景

该研究在多模态情感分析领域具有广泛的应用潜力，能够提升社交媒体内容分析、用户情感识别等任务的准确性。未来，该方法可扩展到其他需要多模态信息融合的领域，如人机交互、情感计算等，具有重要的实际价值和影响。

📄 摘要（原文）

Multimodal sentiment analysis (MSA) aims to understand user-generated videos by integrating multiple modalities. Existing methods often treat modalities as symmetric, overlooking the fact that language provides a dominant semantic prior while nonverbal signals are complementary and noise-prone. To address this, we propose a Text-Anchored Modality Experts with Uncertainty-Guided Routing, termed TAME, that reformulates MSA as an uncertainty-guided refinement paradigm, where the language prior is calibrated and enhanced by selectively trusted nonverbal evidence. Specifically, TAME adopts an asymmetric Mixture-of-Modality-Experts framework, in which textual features act as a fixed and always-activated shared expert, while audio-textual and video-textual cross-modal branches serve as dynamically routed auxiliary experts. Furthermore, we introduce lightweight Prophet Heads to quantify the sample-level predictive uncertainty of each individual modality, and this uncertainty metric is further incorporated into the modality router to realize reliability-aware expert aggregation and fusion. Experiments on CMU-MOSI, CMU-MOSEI, and CH-SIMS datasets demonstrate that TAME achieves state-of-the-art performance on the majority of metrics while reducing parameter count by up to 78.7% and FLOPs by up to 41.2% over the mixture-of-expert baseline. %These results confirm that asymmetric expert construction with uncertainty-guided routing is an effective paradigm for MSA.