MIMO: Multilingual Information Retrieval via Monolingual Objectives

📄 arXiv: 2605.31171v1 📥 PDF

作者: Youngjoon Jang, Seongtae Hong, Heuiseok Lim

分类: cs.IR, cs.AI

发布日期: 2026-05-29

💡 一句话要点

MIMO：通过单语目标实现多语信息检索，提升跨语言对齐与检索性能。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 多语信息检索 跨语言对齐 知识蒸馏 对比学习 嵌入模型 语义空间 单语目标

📋 核心要点

  1. 现有跨语言信息检索模型在混合语言环境下性能下降，主要原因是缺乏有效的跨语言对齐策略。
  2. MIMO利用高性能英语教师模型作为锚点，通过知识蒸馏和对比学习，实现更好的跨语言对齐和检索判别力。
  3. 实验结果表明，MIMO在多语信息检索和多单语检索任务中均优于现有基线模型，并实现了对齐性和均匀性的平衡。

📝 摘要（中文）

多语信息检索(MLIR)反映了真实的搜索环境，其中查询和相关文档可能以不同的语言出现在混合语言语料库中。然而，现有的嵌入模型主要针对多单语检索进行优化，并且它们的性能在MLIR设置中经常下降。此外，直接将传统的对比学习应用于MLIR可能会加剧语言聚类，并暴露跨语言对齐和嵌入均匀性之间的权衡。为了解决这些限制，我们提出了MIMO：通过单语目标实现多语信息检索，这是一个两阶段框架，它使用来自高性能教师模型的稳定的英语语义空间作为锚点。MIMO首先通过知识蒸馏初始化学生模型的跨语言对齐，然后联合优化蒸馏和跨语言对比学习，以提高检索判别力，同时保持对齐。大量的实验表明，MIMO在各种MLIR和多单语基准测试中始终优于现有的跨语言训练基线。MIMO在参数规模相似或更大的现成模型中也保持竞争力。此外，我们的跨语言对齐-均匀性分析阐明了两个损失分量的不同作用，并表明它们的组合产生了对齐和均匀性之间的有利权衡。

🔬 方法详解

问题定义：论文旨在解决多语信息检索（MLIR）中，现有嵌入模型性能下降的问题。现有模型主要针对多单语检索优化，直接应用于MLIR时，会加剧语言聚类，导致跨语言对齐和嵌入均匀性之间存在trade-off。

核心思路：论文的核心思路是利用一个高性能的单语（英语）模型作为“锚点”，通过知识蒸馏的方式，将该模型的语义空间知识迁移到多语模型中，从而稳定跨语言对齐。同时，结合跨语言对比学习，提升模型的检索判别能力，最终在对齐性和均匀性之间取得平衡。

技术框架：MIMO框架包含两个主要阶段：1) 知识蒸馏阶段：使用一个预训练好的高性能英语模型（教师模型）作为锚点，通过蒸馏损失函数，初始化学生模型的跨语言对齐。学生模型学习教师模型在英语数据上的语义表示。2) 联合优化阶段：同时优化蒸馏损失和跨语言对比学习损失。蒸馏损失继续保持跨语言对齐，对比学习损失则用于提高检索的区分度。

关键创新：MIMO的关键创新在于其两阶段训练框架，以及利用单语模型作为跨语言对齐的锚点。与直接使用跨语言对比学习相比，MIMO能够更有效地学习跨语言语义空间，避免语言聚类问题，并在对齐性和均匀性之间取得更好的平衡。

关键设计：MIMO的关键设计包括：1) 教师模型的选择：选择在英语信息检索任务上表现优异的模型，以提供高质量的语义空间。2) 蒸馏损失函数：使用合适的蒸馏损失函数（如KL散度）来迁移教师模型的知识。3) 对比学习损失函数：使用InfoNCE等对比学习损失函数，鼓励相似的跨语言句子具有相近的嵌入表示。4) 损失权重：合理设置蒸馏损失和对比学习损失的权重，以平衡对齐性和区分度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MIMO在多个MLIR和多单语基准测试中，显著优于现有的跨语言训练基线。例如，在某些MLIR数据集上，MIMO的性能提升超过5%。此外，MIMO在参数规模相似或更大的现成模型中也表现出竞争力，证明了其高效性和有效性。对齐-均匀性分析也验证了MIMO在跨语言对齐和嵌入均匀性之间取得了良好的权衡。

🎯 应用场景

MIMO具有广泛的应用前景，可用于构建跨语言搜索引擎、多语言问答系统、跨语言推荐系统等。该研究有助于提升全球化背景下信息检索的效率和准确性，促进不同语言文化之间的交流与理解。未来，MIMO可以扩展到更多语言和领域，并与其他技术（如机器翻译）相结合，实现更强大的跨语言信息处理能力。

📄 摘要（原文）

Multilingual Information Retrieval (MLIR) reflects real-world search environments in which queries and relevant documents may appear in different languages within a mixed-language corpus. However, existing embedding models are primarily optimized for Multi-Monolingual retrieval and their performance often degrades in MLIR settings. Moreover, directly applying conventional contrastive learning to MLIR can exacerbate language clustering and expose a trade-off between cross-lingual alignment and embedding uniformity. To address these limitations, we propose MIMO: Multilingual Information Retrieval via Monolingual Objectives, a two-stage framework that uses a stable English semantic space from a high-performing teacher model as an anchor. MIMO first initializes the student model's cross-lingual alignment through knowledge distillation, and then jointly optimizes distillation and cross-lingual contrastive learning to improve retrieval discrimination while preserving alignment. Extensive experiments show that MIMO consistently outperforms existing cross-lingual training baselines across various MLIR and Multi-Monolingual benchmarks. MIMO also remains competitive with off-the-shelf models of similar or larger parameter scales. Furthermore, our cross-lingual Alignment-Uniformity analysis clarifies the distinct roles of the two loss components and shows that their combination yields a favorable trade-off between alignment and uniformity.