Topological Alignment of Shared Vision-Language Embedding Space

📄 arXiv: 2510.10889v1 📥 PDF

作者: Junwon You, Dasol Kang, Jae-Hun Jung

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-10-13

备注: 24 pages, 5 figures, 19 tables

💡 一句话要点

提出ToMCLIP，通过拓扑对齐增强多语言视觉-语言模型的共享嵌入空间。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多语言学习 视觉-语言模型 拓扑对齐 持久同调 表示学习

📋 核心要点

  1. 现有VLM模型在多语言环境下存在偏差，忽略了共享嵌入空间的全局几何结构。
  2. ToMCLIP通过拓扑对齐，利用持久同调和图稀疏化策略，保持嵌入空间的拓扑结构。
  3. 实验表明，ToMCLIP增强了多语言表示的结构连贯性，提高了零样本准确率和多语言检索性能。

📝 摘要（中文）

对比视觉-语言模型(VLMs)已展示出强大的零样本能力。然而，由于多语言多模态数据的限制，它们的跨模态对齐仍然偏向于英语。最近的多语言扩展缓解了这一差距，但强制执行实例级别的对齐，而忽略了共享嵌入空间的全局几何结构。我们通过引入ToMCLIP（用于多语言CLIP的拓扑对齐），一个拓扑感知框架，用保持拓扑结构的约束来对齐嵌入空间，从而解决这个问题。所提出的方法应用持久同调来定义拓扑对齐损失，并使用图稀疏化策略，以理论误差界限来近似持久性图。这项工作验证了所提出的方法，展示了多语言表示的增强的结构连贯性，CIFAR-100上更高的零样本准确率，以及xFlickr&CO上更强的多语言检索性能。除了VLMs，所提出的方法为将拓扑对齐纳入表示学习提供了一种通用方法。

🔬 方法详解

问题定义：现有的多语言视觉-语言模型（VLMs）在跨模态对齐方面存在偏差，主要原因是训练数据集中英语数据占主导地位。即使最近的多语言扩展尝试缓解这个问题，它们通常侧重于实例级别的对齐，而忽略了共享嵌入空间的全局几何结构。这种忽略导致模型无法捕捉不同语言之间更深层次的语义关系，限制了其在多语言环境下的泛化能力。

核心思路：ToMCLIP的核心思路是通过拓扑对齐来增强多语言VLM的共享嵌入空间。具体来说，它利用拓扑数据分析中的持久同调（Persistent Homology）来捕捉嵌入空间的全局几何结构，并设计一个拓扑对齐损失函数，以确保不同语言的嵌入空间在拓扑结构上保持一致。这样做的目的是使模型能够学习到更鲁棒、更具泛化能力的多语言表示。

技术框架：ToMCLIP的整体框架包括以下几个主要步骤：1) 使用预训练的VLM（如CLIP）提取视觉和文本特征；2) 构建嵌入空间的图表示，其中节点代表数据点，边代表数据点之间的相似度；3) 应用持久同调计算嵌入空间的持久性图（Persistence Diagram），该图捕捉了嵌入空间的拓扑特征；4) 定义拓扑对齐损失函数，该损失函数衡量不同语言的嵌入空间在持久性图上的差异；5) 使用梯度下降优化模型参数，以最小化拓扑对齐损失。

关键创新：ToMCLIP的关键创新在于将拓扑数据分析引入到多语言VLM的训练中。与传统的实例级别对齐方法不同，ToMCLIP关注的是嵌入空间的全局几何结构，这使得模型能够学习到更鲁棒、更具泛化能力的多语言表示。此外，ToMCLIP还提出了一种基于图稀疏化的方法来近似计算持久性图，从而降低了计算复杂度。

关键设计：ToMCLIP的关键设计包括：1) 使用余弦相似度构建嵌入空间的图表示；2) 使用Ripser算法计算持久同调；3) 定义拓扑对齐损失函数为不同语言的持久性图之间的Wasserstein距离；4) 使用图稀疏化策略来降低计算复杂度，具体来说，只保留图中权重最大的K条边。损失函数的权重需要根据具体数据集进行调整。

📊 实验亮点

实验结果表明，ToMCLIP在CIFAR-100数据集上实现了更高的零样本准确率，并在xFlickr&CO数据集上取得了更强的多语言检索性能。这些结果验证了ToMCLIP能够有效增强多语言表示的结构连贯性，并提升多语言VLM的性能。具体提升幅度在论文中有详细数据。

🎯 应用场景

ToMCLIP可应用于多语言图像检索、跨语言文本理解、多语言内容推荐等领域。通过提升多语言VLM的性能，可以促进不同语言文化之间的交流与理解，并为全球化应用提供更强大的技术支持。未来，该方法有望扩展到更多模态和更多语言，进一步提升多模态多语言模型的性能。

📄 摘要（原文）

Contrastive Vision-Language Models (VLMs) have demonstrated strong zero-shot capabilities. However, their cross-modal alignment remains biased toward English due to limited multilingual multimodal data. Recent multilingual extensions have alleviated this gap but enforce instance-level alignment while neglecting the global geometry of the shared embedding space. We address this problem by introducing ToMCLIP (Topological Alignment for Multilingual CLIP), a topology-aware framework aligning embedding spaces with topology-preserving constraints. The proposed method applies persistent homology to define a topological alignment loss and approximates persistence diagram with theoretical error bounds using graph sparsification strategy. This work validates the proposed approach, showing enhanced structural coherence of multilingual representations, higher zero-shot accuracy on the CIFAR-100, and stronger multilingual retrieval performance on the xFlickr&CO. Beyond VLMs, the proposed approach provides a general method for incorporating topological alignment into representation learning.