SemMSA: Latent Semantic-Aided Robust Multimodal Sentiment Analysis with Incomplete Data

📄 arXiv: 2609.30238v1 📥 PDF

作者: Wenhao Li, Zhibin Wu, Chong Xiao, Qiangchang Wang

分类: cs.CL, cs.CV, cs.MM

发布日期: 2026-09-24

备注: Accepted by NeurIPS 2026

💡 一句话要点

提出SemMSA以解决多模态情感分析中的不完整数据问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态情感分析 潜在语义 谱对齐 跨模态融合 情感推断

📋 核心要点

  1. 现有多模态情感分析方法在处理不完整数据时，容易产生虚假生成和噪声引导，缺乏高层语义支持。
  2. SemMSA框架通过潜在语义辅助，采用无锚点谱对齐技术，整合语言、视觉和声学模态，提升情感分析的准确性。
  3. 在SIMS、MOSI和MOSEI基准测试中，SemMSA展示了优于现有方法的性能，达到了最先进的结果。

📝 摘要（中文）

近年来，多模态情感分析（MSA）研究集中于从语言、视觉和声学模态中学习以推断人类情感。现有方法通常通过重构模态特征或设计复杂的融合机制来弥补缺失信息，但仍然面临由于缺乏高层语义基础而导致的虚假生成和噪声引导问题。为了解决这些问题，本文提出了SemMSA，一个基于潜在语义的框架，通过无锚点的谱对齐充分整合所有模态，构建丰富的情感相关语义。该框架主要由跨模态语义精炼（CSR）和跨模态谱对齐（CSA）组成。实验结果表明，SemMSA在SIMS、MOSI和MOSEI基准上实现了最先进的性能。

🔬 方法详解

问题定义：本文旨在解决多模态情感分析中由于数据不完整而导致的情感推断不准确的问题。现有方法在缺失信息时，往往依赖于模态特征重构或复杂的融合机制，导致生成的结果存在噪声和不可靠性。

核心思路：SemMSA框架的核心思路是通过潜在语义的辅助，构建与情感相关的丰富语义，并通过无锚点的谱对齐技术整合所有模态，从而提高情感分析的鲁棒性和准确性。

技术框架：SemMSA主要由两个模块组成：跨模态语义精炼（CSR）和跨模态谱对齐（CSA）。CSR通过适配器自适应提取视觉和声学表示，形成统一的多模态前缀，并通过潜在精炼过程生成连续的判别语义状态；CSA则通过增强核Gram矩阵的主谱成分来对齐精炼后的语义与所有模态。

关键创新：SemMSA的关键创新在于无锚点的谱对齐方法，能够捕捉所有表示之间的全局非线性依赖关系，而不依赖于预定义的锚模态。这一设计显著提升了跨模态的整合效果。

关键设计：在技术细节上，CSR模块使用了适配器来提取不同模态的特征，并通过潜在精炼过程优化语义表示。此外，CSA模块引入了实例级谱分离约束，以保持样本间的可区分性，防止表示崩溃。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SIMS、MOSI和MOSEI基准测试中，SemMSA实现了最先进的性能，显著优于现有方法，具体性能提升幅度达到X%（具体数据待补充）。这一结果表明，SemMSA在处理不完整多模态数据时的有效性和鲁棒性。

🎯 应用场景

SemMSA的研究成果在情感分析、社交媒体监测和人机交互等领域具有广泛的应用潜力。通过提高多模态数据的分析能力，该方法能够帮助企业更准确地理解用户情感，从而优化产品和服务，提升用户体验。未来，该框架还可扩展至其他需要多模态融合的任务，如情感计算和智能客服系统。

📄 摘要（原文）

Recent research on Multimodal Sentiment Analysis (MSA) has focused on learning from language, visual, and acoustic modalities with incomplete data to infer human sentiment. Most studies typically compensate for missing information by reconstructing modality features or designing complicated fusion mechanisms. However, these methods still suffer from spurious generation and noisy guidance due to the lack of high-level semantic grounding in partially observed multimodal evidence. To address these issues, we propose SemMSA, a latent semantic-aided framework that constructs rich sentiment-relevant semantics with LLMs, fully integrating with all modalities via anchor-free spectral alignment. It mainly consists of Cross-modal Semantic Refinement (CSR) and Cross-modal Spectral Alignment (CSA). Specifically, CSR first adaptively extracts visual and acoustic representations by corresponding adapters to form a unified multimodal prefix with language in the frozen LLM embedding space. It then iteratively produces continuous discriminative semantic states through a token-efficient latent refinement process without decoding explicit text. Next, CSA simultaneously aligns the refined semantics with all modalities by enhancing the dominant spectral component of their kernel Gram matrix. This captures global nonlinear dependencies among all representations without relying on a predefined anchor modality. In addition, an instance-level spectral separation constraint preserves cross-sample discriminability and mitigates representation collapse. Extensive experiments on SIMS, MOSI, and MOSEI benchmarks demonstrate that SemMSA achieves state-of-the-art performance.