pplx-embed-v2-late Technical Report

📄 arXiv: 2610.29523v1 📥 PDF

作者: Markus Krimmel, Louis Milliken, Ekaterina Glazkova, Maximilian Schall, Antoine Chaffin, Sedigheh Eslami, Jonas Golde, Denis Bykov, Claire Beamer, Jeremy Yang, Bo Wang

分类: cs.IR, cs.CL, cs.LG

发布日期: 2026-10-21

🔗 代码/项目: HUGGINGFACE

💡 一句话要点

提出pplx-embed-v2-late以解决多模态检索问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态检索 表示蒸馏 知识提取 低延迟查询 模型压缩

📋 核心要点

  1. 现有的多模态检索模型在处理不同规模和类型的数据时存在性能瓶颈，尤其是在资源受限的环境中。
  2. 论文提出的pplx-embed-v2-late模型通过蒸馏技术，从一个大型教师模型中提取知识，实现了高效的多模态检索能力。
  3. 实验结果表明，pplx-embed-v2-late-0.6b在视觉文档检索任务中表现出色，能够与更大模型的性能相媲美。

📝 摘要（中文）

在本报告中，我们介绍了pplx-embed-v2-late，这是一对0.6B和9B的多语言多模态晚期交互模型。这两个模型在各自的规模类别中，在文本、图像和视觉文档检索基准上均取得了最先进的结果。在视觉文档检索任务中，pplx-embed-v2-late-0.6b的表现与几倍于其自身的模型相竞争。这些模型通过从一个18B的教师模型进行表示蒸馏进行训练，因此它们共享一个嵌入空间，支持不对称部署：文档可以使用9B模型进行索引，而使用低延迟的0.6B模型进行查询。两个模型均可在https://huggingface.co/collections/perplexity-ai/pplx-embed-v2上获取。

🔬 方法详解

问题定义：本论文旨在解决现有多模态检索模型在不同规模和类型数据处理中的性能不足，尤其是在资源受限的情况下，如何高效地进行文本、图像和视觉文档的检索。

核心思路：论文的核心思路是通过表示蒸馏技术，从一个18B的教师模型中提取知识，训练出两个具有不同规模的模型（0.6B和9B），以实现高效的多模态检索能力。这样的设计使得模型在保持高性能的同时，能够在资源受限的环境中灵活应用。

技术框架：整体架构包括一个大型教师模型和两个学生模型（0.6B和9B）。训练过程中，学生模型通过蒸馏学习教师模型的知识，形成共享的嵌入空间，以支持不对称的查询和索引。

关键创新：最重要的技术创新点在于通过蒸馏技术实现了不同规模模型之间的知识共享，使得小模型在性能上能够与大模型相媲美，解决了多模态检索中的效率与效果的矛盾。

关键设计：在模型设计中，采用了特定的损失函数来优化蒸馏过程，并对网络结构进行了精心设计，以确保在不同规模下都能有效提取和利用特征。

📊 实验亮点

实验结果显示，pplx-embed-v2-late-0.6b在视觉文档检索任务中表现出色，其性能与几倍于其自身的模型相当，展示了在低延迟查询下的高效性和竞争力。

🎯 应用场景

该研究的潜在应用领域包括智能搜索引擎、图像和文档检索系统、以及多模态交互平台等。通过实现高效的多模态检索，能够提升用户体验，降低计算资源消耗，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

In this report, we introduce pplx-embed-v2-late, a pair of 0.6B and 9B multilingual and multimodal late-interaction models. Both models achieve state-of-the-art results within their respective size classes across a range of text, image, and visual document retrieval benchmarks. On visual document retrieval tasks, pplx-embed-v2-late-0.6b is competitive with models several times larger than itself. The models are trained via representation distillation from an 18B teacher. Consequently, they share an embedding space that supports asymmetric deployment: documents can be indexed with the 9B model and queried with the low-latency 0.6B model. Both models are available at https://huggingface.co/collections/perplexity-ai/pplx-embed-v2.