FLiP: Towards understanding and interpreting multimodal multilingual sentence embeddings

📄 arXiv: 2604.18109v1 📥 PDF

作者: Santosh Kesiraju, Bolaji Yusuf, Šimon Sedláček, Oldřich Plchot, Petr Schwarz

分类: cs.CL, cs.SD

发布日期: 2026-04-20

备注: Under review

🔗 代码/项目: GITHUB

💡 一句话要点

提出FLiP模型，用于理解和解释多模态多语言句子嵌入

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 句子嵌入 多语言 多模态 可解释性 线性投影

📋 核心要点

  1. 现有的句子嵌入方法缺乏可解释性，难以理解其内部表示和偏差。
  2. FLiP模型通过学习线性投影，将句子嵌入映射回词汇空间，从而揭示嵌入中包含的词汇信息。
  3. 实验表明，FLiP能够有效恢复句子嵌入中的词汇内容，并揭示不同编码器的模态和语言偏差。

📝 摘要（中文）

本文提出了一种分解线性投影（FLiP）模型，用于理解预训练句子嵌入空间。我们训练FLiP模型，从多语言（LaBSE）、多模态（SONAR）和基于API（Gemini）的句子嵌入空间中恢复词汇内容，涵盖多种高资源和中等资源语言。实验表明，FLiP能够从嵌入中恢复超过75%的词汇内容，显著优于现有的非分解基线方法。我们利用这一结果作为诊断工具，揭示了所选句子编码器中的模态和语言偏差，并为从业者提供了关于编码器的内在见解，而无需依赖传统的下游评估任务。我们的实现已公开：https://github.com/BUTSpeechFIT/FLiP。

🔬 方法详解

问题定义：现有的预训练句子嵌入模型，如LaBSE、SONAR和Gemini，虽然在各种下游任务中表现出色，但其内部表示机制仍然是一个黑盒。理解这些嵌入空间如何编码词汇、模态和语言信息至关重要，但现有方法缺乏有效手段来分析和解释这些嵌入。

核心思路：FLiP的核心思想是通过学习一个分解的线性投影矩阵，将高维的句子嵌入空间映射回词汇空间。通过分析这个投影矩阵，可以揭示句子嵌入中包含的词汇信息，并识别不同模态和语言之间的偏差。这种方法避免了直接在下游任务上进行评估，而是提供了一种内在的、可解释的分析手段。

技术框架：FLiP模型包含一个线性投影层，该层将句子嵌入向量映射到词汇表大小的向量。该投影矩阵被分解为两个较小的矩阵，以减少参数数量并提高训练效率。模型的训练目标是最小化预测词汇和实际词汇之间的差异，通常使用交叉熵损失函数。整体流程包括：1) 获取预训练句子嵌入；2) 使用FLiP模型学习投影矩阵；3) 分析投影矩阵以提取词汇信息和偏差。

关键创新：FLiP的关键创新在于其分解的线性投影方法。与传统的非分解线性投影相比，分解方法显著减少了参数数量，使得模型能够更容易地训练，并更好地泛化到不同的语言和模态。此外，FLiP提供了一种内在的、可解释的分析框架，无需依赖下游任务即可理解句子嵌入的内部表示。

关键设计：FLiP模型的关键设计包括：1) 使用分解的线性投影矩阵，降低计算复杂度；2) 使用交叉熵损失函数，优化词汇预测；3) 针对不同的句子嵌入模型（LaBSE、SONAR、Gemini）进行独立训练，以捕捉其特定的特性；4) 通过分析投影矩阵的权重，识别不同词汇、模态和语言的贡献。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果表明，FLiP能够从多语言（LaBSE）、多模态（SONAR）和基于API（Gemini）的句子嵌入中恢复超过75%的词汇内容，显著优于非分解基线方法。通过分析FLiP模型学习到的投影矩阵，研究人员能够揭示不同句子编码器中的模态和语言偏差，为理解和改进这些模型提供了有价值的见解。

🎯 应用场景

FLiP模型可用于分析和理解各种预训练句子嵌入模型，帮助研究人员和工程师选择合适的嵌入模型，并针对特定任务进行优化。此外，该方法还可以用于检测和缓解嵌入模型中的偏差，提高其公平性和可靠性。未来，FLiP可以扩展到其他类型的嵌入空间，例如图像嵌入和图嵌入。

📄 摘要（原文）

This paper presents factorized linear projection (FLiP) models for understanding pretrained sentence embedding spaces. We train FLiP models to recover the lexical content from multilingual (LaBSE), multimodal (SONAR) and API-based (Gemini) sentence embedding spaces in several high- and mid-resource languages. We show that FLiP can recall more than 75% of lexical content from the embeddings, significantly outperforming existing non-factorized baselines. Using this as a diagnostic tool, we uncover the modality and language biases across the selected sentence encoders and provide practitioners with intrinsic insights about the encoders without relying on conventional downstream evaluation tasks. Our implementation is public https://github.com/BUTSpeechFIT/FLiP.