Beyond Invariance: Factor-wise Selective Treatment of Shifts for Multimodal Learning

📄 arXiv: 2610.21403v1 📥 PDF

作者: Guimin Hu, Qiwei Peng

分类: cs.CL, cs.LG

发布日期: 2026-10-15

💡 一句话要点

提出FaShift框架以解决多模态学习中的分布偏移问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 分布偏移 因子化表示 选择性处理 鲁棒性

📋 核心要点

  1. 现有多模态学习方法对分布偏移的处理过于统一，未能有效区分不同偏移信息的预测贡献。
  2. 本文提出FaShift框架，通过因子化多模态表示，针对不同因子的分布变化进行选择性处理。
  3. 在MOSI、MOSEI和CH-SIMS数据集上，FaShift在ID准确率和F1分数上均表现优异，显著提升了OOD性能。

📝 摘要（中文）

分布偏移对稳健的多模态学习构成了根本挑战。现有方法通常通过抑制环境依赖的变化来促进不变性，隐含地对偏移信息施加统一处理。然而，偏移信息可能对预测有不同的影响：有些对预测贡献甚微，有些则保持可靠的信息性，还有些表现出环境依赖的预测效应。为了解决这个问题，本文提出了FaShift，一个因子级偏移框架，通过诊断潜在表示因子及其分布变化、干预效果和跨环境稳定性，来区分非预测因子、稳定预测因子和预测性有用但不稳定的因子。实验结果表明，FaShift在MOSI、MOSEI和CH-SIMS数据集上均取得了最佳的ID准确率和F1分数。

🔬 方法详解

问题定义：本文旨在解决多模态学习中因分布偏移导致的预测不稳定性。现有方法往往对所有偏移信息施加统一处理，未能有效识别和利用不同偏移信息的特性。

核心思路：FaShift框架通过因子化潜在表示，分析各因子的分布变化、干预效果和跨环境稳定性，从而实现对偏移信息的选择性处理。该方法允许对不同因子采取抑制、保留或减弱的策略，而非简单的统一不变性。

技术框架：FaShift的整体架构包括因子化模块、诊断模块和选择性处理模块。因子化模块将多模态表示分解为多个因子，诊断模块评估每个因子的预测贡献，选择性处理模块根据评估结果调整各因子的贡献。

关键创新：FaShift的主要创新在于其因子级的选择性处理策略，能够有效区分非预测性因子、稳定预测性因子和预测性有用但不稳定的因子。这一方法与现有的统一不变性方法本质上不同，提供了更为灵活的处理方式。

关键设计：在设计上，FaShift采用了特定的损失函数来优化因子的选择性处理，并结合了跨环境稳定性评估机制，以确保模型在不同环境下的鲁棒性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FaShift在MOSI、MOSEI和CH-SIMS数据集上的实验结果显示，ID准确率和F1分数均达到了最佳水平。在OOD性能上，相较于最强竞争对手，FaShift在MOSI上提高了1.5/3.6个百分点，在MOSEI上提高了1.7/2.7个百分点，并在CH-SIMS上实现了最佳的OOD准确率和F1分数。

🎯 应用场景

FaShift框架在多模态学习领域具有广泛的应用潜力，尤其是在情感分析、视频理解和人机交互等场景中。通过有效处理分布偏移，该方法能够提升模型的鲁棒性和预测准确性，进而推动智能系统在复杂环境中的应用。未来，该框架还可扩展至其他领域，如医疗影像分析和自动驾驶等。

📄 摘要（原文）

Distribution shifts pose a fundamental challenge to robust multimodal learning. Existing methods typically promote invariance by suppressing environment-dependent variations, implicitly applying a uniform treatment to shifted information. However, shifted information can have different predictive consequences: some contributes little to prediction, some remains reliably informative, and some exhibits environment-dependent predictive effects. This raises a fundamental question: which shifted information should be suppressed, preserved, or attenuated? To address this question, we propose FaShift, a factor-wise shift framework that diagnoses latent representation factors according to their distributional changes, intervention effects, and cross-environment stability. By factorizing multimodal representations and evaluating these complementary properties, FaShift distinguishes non-predictive factors, stably predictive factors, and predictively useful but unstable factors. It then selectively suppresses, preserves, or attenuates their contributions, rather than enforcing uniform invariance. Experiments on MOSI, MOSEI, and CH-SIMS show that FaShift achieves the best ID accuracy and F1 across all three datasets. Compared with the strongest competitors reporting OOD results, it improves OOD accuracy/F1 by 1.5/3.6 points on MOSI and 1.7/2.7 points on MOSEI, while achieving the best reported OOD accuracy and F1 on CH-SIMS.