Closing the Modality Gap via Simplex-Constrained Representations

📄 arXiv: 2610.32890v1 📥 PDF

作者: Shubham Gupta, Siva Reddy, Perouz Taslakian, Valentina Zantedeschi, Cem Subakan

分类: cs.AI, cs.CV

发布日期: 2026-10-23

💡 一句话要点

通过简单约束表示法解决多模态对齐问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态对齐 几何表示 概率单纯形 模态间隙 对比学习 检索性能 全变差相似性 嵌入空间

📋 核心要点

  1. 现有的多模态对比模型在学习共享表示时，存在模态间隙的问题，影响了模型的性能。
  2. 论文提出通过将嵌入域从单位球体转变为概率单纯形，利用几何结构来实现模态间的对齐。
  3. 实验结果表明，该方法在五个多模态检索基准上显著降低了质心间隙，提升了检索性能。

📝 摘要（中文）

尽管多模态对比模型如CLIP和CLAP成功学习了共享表示，但其嵌入通常存在持续的模态间隙。我们提出通过纯几何方法解决这一问题：将嵌入域从单位球体$S^{d-1}$更改为概率单纯形$Δ^{d-1}$。单纯形作为结构先验，通过非负、单位质量约束，强制两种模态在同一坐标系中进行交叉模态校准。通过附加轻量级softmax适配器和使用全变差相似性，我们在五个多模态检索基准上将质心$ ext{l}_2$间隙减少了97-99%。这证实了单纯形几何确实引入了真实的语义对齐，检索性能匹配或超过了标准无约束模型。

🔬 方法详解

问题定义：本论文旨在解决多模态对比模型中存在的模态间隙问题。现有方法在不同模态的嵌入空间中存在显著差异，导致语义对齐不足，影响检索效果。

核心思路：论文的核心思路是将嵌入域从单位球体$S^{d-1}$转变为概率单纯形$Δ^{d-1}$，利用单纯形的几何特性作为结构先验，强制不同模态在同一坐标系中进行交叉模态校准。

技术框架：整体架构包括两个主要模块：首先是嵌入生成模块，将输入数据映射到单纯形；其次是相似性计算模块，使用全变差相似性度量来评估模态间的对齐程度。

关键创新：最重要的技术创新在于引入了单纯形几何作为模态对齐的基础，克服了传统方法中模态间隙的问题。这一方法不仅在理论上提供了新的视角，也在实践中显著提升了性能。

关键设计：在实现中，采用了轻量级的softmax适配器来处理嵌入，并使用全变差相似性作为损失函数，确保了不同模态的嵌入能够在同一概率空间中进行有效对齐。

📊 实验亮点

实验结果显示，采用单纯形约束的模型在五个多模态检索基准上将质心$ ext{l}_2$间隙减少了97-99%，显著提升了检索性能，验证了该方法的有效性，甚至超过了标准无约束模型的表现。

🎯 应用场景

该研究的潜在应用领域包括多模态检索、图像与文本的跨模态理解以及增强现实等。通过有效的模态对齐，能够提升多模态系统的性能，推动智能搜索、推荐系统等技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

While multimodal contrastive models like CLIP and CLAP successfully learn shared representations, their embeddings typically exhibit a persistent \emph{modality gap}. We propose addressing this separation through a purely geometric approach: changing the embedding domain from the unit sphere, $S^{d-1}$, to the probability simplex, $Δ^{d-1}$. Although both manifolds share the same intrinsic dimension, the simplex acts as a structural prior; its nonnegative, unit-mass constraints serve as a cross-modal calibration that forces both modalities to ground themselves in the same coordinate system. By attaching lightweight softmax adapters and using Total Variation similarity, we reduce the centroid $\ell_2$ gap by 97--99\% across five multimodal retrieval benchmarks. This confirms that simplicial geometry induces genuine semantic alignment, matching or exceeding the retrieval performance of standard unconstrained models.