Segregate, Refine, Integrate: Decomposing Multimodal Fusion for Sentiment Analysis

📄 arXiv: 2607.12686v1 📥 PDF

作者: Alexios Filippakopoulos, Elias Kallioras, Nikolaos Xiros, Efthymios Georgiou, Alexandros Potamianos

分类: cs.CL

发布日期: 2026-07-14

💡 一句话要点

提出SeRIn以解决多模态融合中的信号精炼与交互建模问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 情感分析 深度学习 模型优化 跨模态交互

📋 核心要点

  1. 现有多模态融合方法在精炼模态信号与建模跨模态交互之间存在冲突，导致性能受限。
  2. SeRIn通过将模态信号的精炼与跨模态交互分开处理，提出了一种新的多模态融合架构。
  3. 在CH-SIMS和CMU-MOSEI基准上，SeRIn实现了所有指标的提升，展现出优越的性能。

📝 摘要（中文）

多模态融合需要同时精炼特定模态信号并建模跨模态交互，这两个目标通常在同一操作中相互纠缠。我们提出了SeRIn（Segregate, Refine, Integrate），一种多模态语言模型融合方案，强制将这两个目标分离作为架构先验。特定模态的表示沿着独立路径演变，每个路径在其各自的编码器上下文中进行精炼，而专用的跨模态路径则在不污染单模态流的情况下累积它们的联合演变。完整的跨模态交互被推迟到最终预测步骤，消融实验确认结构化交互而非增加容量推动了性能提升；在视觉干扰下的门控分析揭示了新兴的模态重加权，无需显式监督。SeRIn在CH-SIMS和CMU-MOSEI上实现了最先进的结果，提升了所有指标。

🔬 方法详解

问题定义：本论文旨在解决多模态融合中信号精炼与跨模态交互建模的矛盾。现有方法通常将这两个目标混合在同一操作中，导致性能下降。

核心思路：SeRIn的核心思想是将模态特定信号的精炼与跨模态交互分开处理。通过这种设计，可以在不干扰单模态流的情况下，专注于模态特定的上下文信息。

技术框架：SeRIn的整体架构包括三个主要模块：模态分离路径、模态精炼过程和跨模态集成路径。模态分离路径负责独立处理每个模态的信号，模态精炼过程在各自的编码器上下文中优化信号，而跨模态集成路径则在最终预测阶段整合所有模态的信息。

关键创新：SeRIn的最大创新在于将模态信号的处理与跨模态交互分开，避免了传统方法中模态信号相互干扰的问题。这种结构化的交互方式显著提升了模型性能。

关键设计：在设计中，SeRIn使用了特定的损失函数来优化模态精炼过程，并通过门控机制实现模态重加权，确保模型在视觉干扰下仍能保持良好的性能。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

SeRIn在CH-SIMS和CMU-MOSEI基准上实现了最先进的结果，所有指标均有所提升，具体性能数据未明确给出。消融实验表明，结构化交互显著推动了性能提升，而非简单增加模型容量。

🎯 应用场景

该研究的潜在应用领域包括情感分析、社交媒体内容理解和多模态人机交互等。通过有效融合不同模态的信息，SeRIn能够提升情感识别的准确性，进而在智能客服、情感计算等领域产生实际价值。未来，该方法可能推动更多复杂多模态任务的研究与应用。

📄 摘要（原文）

Multimodal fusion must simultaneously refine modality-specific signals and model cross-modal interactions; two competing objectives typically entangled within the same operation. We propose \textbf{SeRIn} (\textbf{Se}gregate, \textbf{R}efine, \textbf{In}tegrate), a multimodal LM fusion scheme that enforces this separation as an architectural prior. Modality-specific representations evolve along isolated pathways, each refined against its respective encoder context, while a dedicated cross-modal pathway accumulates their joint evolution without contaminating unimodal streams. Full cross-modal interaction is deferred to a final prediction step - ablations confirm that structured interactions, not added capacity, drive the gains; gate analysis under visual corruption reveals emergent modality reweighting without explicit supervision. SeRIn achieves state-of-the-art results on CH-SIMS and CMU-MOSEI, improving all metrics on both benchmarks.