On the Geometry of Multimodal Saturation: Riemannian VICReg

📄 arXiv: 2610.06096v1 📥 PDF

作者: Nessim Ben Abbes, Duc Han Le, Sabri Mtibaa, Van-Tam Nguyen

分类: cs.LG, cs.AI

发布日期: 2026-10-05

备注: 17 pages, 6 figures. Accepted to the Proceedings Track of the NeurIPS 2026 Workshop on Symmetry and Geometry in Neural Representations (NeurReps)

💡 一句话要点

提出Riemannian VICReg以解决多模态饱和问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 自监督学习 Riemannian几何 VICReg 模型优化 性能提升 数据融合

📋 核心要点

  1. 现有自监督学习方法在引入第三种模态时，往往导致性能下降，尤其是在多模态模型中表现不如双模态模型。
  2. 论文提出Riemannian VICReg（R-VICReg），通过在可学习的负曲率空间中对视图进行对齐，解决了多模态饱和问题。
  3. 实验结果显示，R-VICReg在45个配对实验中将第三种模态的有效性概率从44.4%提升至64.4%，显著改善了模型性能。

📝 摘要（中文）

在自监督学习中，第三种模态应改善或至少保持性能。然而，我们在九个图像-文本-表格数据集上发现，三模态模型在55.6%的配对实验中表现不如其最佳双模态子集。我们称这种现象为多模态饱和。我们认为失败源于对齐几何。Riemannian VICReg（R-VICReg）对经典VICReg进行了推广，通过在可学习的负曲率乘积因子上对视图进行平方测地距离对齐，当曲率消失时，R-VICReg准确恢复VICReg。在相同的45个配对实验中，R-VICReg将第三种模态有助于性能的概率从44.4%提高到64.4%，增益集中在VICReg饱和的地方。

🔬 方法详解

问题定义：论文要解决的问题是多模态学习中的饱和现象，即引入第三种模态反而导致性能下降。现有方法如VICReg和SimSiam在多模态设置下表现不佳，未能有效利用额外模态的信息。

核心思路：论文的核心思路是通过Riemannian几何对视图进行对齐，利用可学习的负曲率乘积因子来优化模态间的关系，从而改善多模态学习的效果。

技术框架：R-VICReg的整体架构包括三个主要模块：首先是模态输入的特征提取，其次是通过测地距离进行模态对齐，最后是损失函数的计算以优化模型参数。

关键创新：R-VICReg的关键创新在于引入了Riemannian几何的概念，通过负曲率空间对模态进行对齐，与传统的VICReg方法相比，能够更有效地处理多模态信息的融合。

关键设计：在技术细节上，R-VICReg使用了可学习的负曲率乘积因子，并在损失函数中引入了平方测地距离，以确保模态间的有效对齐和信息传递。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

实验结果显示，R-VICReg在45个配对实验中将第三种模态有助于性能的概率从44.4%提升至64.4%，在VICReg饱和的情况下，显著改善了模型的表现，展示了其在多模态学习中的有效性。

🎯 应用场景

该研究的潜在应用领域包括图像识别、自然语言处理和数据融合等多个领域。通过改善多模态学习的性能，R-VICReg可以在实际应用中提升模型的准确性和鲁棒性，尤其是在需要综合多种信息源的任务中，具有重要的实际价值和未来影响。

📄 摘要（原文）

In self-supervised learning, a third modality should improve, or at least preserve, performance. Across nine image-text-tabular datasets, we show that it instead harms performance: the trimodal model underperforms its own best bimodal subset in 55.6% of paired runs under VICReg. The same failure occurs in 51.1% of paired runs under SimSiam. We call this failure multimodal saturation. We propose that the failure lies in the alignment geometry. Riemannian VICReg (R-VICReg) generalizes classical VICReg: it aligns views by squared geodesic distance on learnable negative-curvature product factors and recovers VICReg exactly as curvature vanishes. Over the same 45 paired runs, R-VICReg raises the probability that the third modality helps from 44.4% to 64.4%, with gains concentrated where VICReg saturates.