ColNanoVDR: Document-Free Query Distillation for Multi-Vector Visual Document Retrieval via Optimal Transport

📄 arXiv: 2609.34899v1 📥 PDF

作者: Zhuchenyang Liu, Ziyi Wang, Yao Zhang, Yu Xiao

分类: cs.IR, cs.CL, cs.CV

发布日期: 2026-09-28

备注: 20 pages, 5 figures, 11 tables. Code: https://github.com/Ryenhails/NanoVDR ; Models: https://huggingface.co/nanovdr

💡 一句话要点

提出ColNanoVDR以解决多向量视觉文档检索中的查询编码瓶颈问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视觉文档检索 查询蒸馏 熵最优传输 多向量检索 模型压缩 高效编码 信息检索

📋 核心要点

  1. 现有的多向量检索器在每次搜索时需要运行庞大的查询编码器，导致性能瓶颈。
  2. ColNanoVDR框架通过熵最优传输方法，实现了无文档的查询蒸馏，避免了对训练页面的编码和缓存。
  3. 实验结果表明，149M的文本学生模型在保留高性能的同时，查询编码速度提升至26倍，显著降低了数据读取需求。

📝 摘要（中文）

多向量检索器基于视觉-语言模型在视觉文档检索（VDR）中表现出色，但每次搜索都需运行数十亿参数的查询编码器，造成性能瓶颈。为此，本文提出ColNanoVDR框架，首次将无文档蒸馏应用于多向量VDR。其目标是通过熵最优传输（OTW）将学生的查询令牌与教师的对齐，且无需两者之间的对应关系。通过从五个最先进的教师模型中蒸馏，149M的文本学生在ViDoRe v1-v3上保留了约95%的NDCG@5，同时查询编码速度提升至26倍。

🔬 方法详解

问题定义：本文旨在解决多向量视觉文档检索中查询编码器的性能瓶颈，现有方法需对每个搜索运行庞大的编码器，导致效率低下。

核心思路：ColNanoVDR框架通过熵最优传输（OTW）将学生的查询令牌与教师的对齐，避免了对文档的直接依赖，从而实现了无文档的查询蒸馏。

技术框架：该框架主要包括教师模型的查询嵌入生成、学生模型的训练过程以及熵最优传输的对齐机制。通过学习每个学生令牌的权重，实现了高效的查询映射。

关键创新：ColNanoVDR是首个将无文档蒸馏应用于多向量VDR的框架，其创新之处在于不需要教师和学生之间的令牌对应关系，显著提高了训练效率。

关键设计：在模型设计中，采用了学习权重的熵最优传输损失函数，确保学生模型在训练过程中能够有效对齐教师模型的查询嵌入，同时减少了对缓存数据的需求。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，149M的文本学生模型在ViDoRe v1-v3数据集上保留了约95%的NDCG@5，同时查询编码速度提升至26倍。此外，在相同训练条件下，OTW方法在不编码文档的情况下，读取的教师数据量减少了12.6倍，展现出显著的性能优势。

🎯 应用场景

ColNanoVDR框架在视觉文档检索领域具有广泛的应用潜力，能够显著提升检索效率，降低计算资源消耗。其技术可应用于信息检索、智能搜索引擎以及多模态数据处理等多个领域，未来可能推动相关技术的进一步发展与应用。

📄 摘要（原文）

Multi-vector retrievers built on vision-language models lead visual document retrieval (VDR), but they run a multi-billion-parameter query encoder on every search. Distilling this encoder into a small student that queries the teacher's existing index would remove the bottleneck. The standard recipe, however, matches the teacher's MaxSim scores and so requires encoding and caching every training page, which can reach terabytes of page tokens. NanoVDR avoids pages entirely by training on the teacher's query embeddings alone, but only for single-vector retrievers. We present ColNanoVDR, to our knowledge the first framework to bring this document-free distillation to multi-vector VDR. Its objective, OTW (Optimal Transport with Learned Weights), aligns the student's query tokens with the teacher's by entropic optimal transport, with a learned weight for each student token, and needs no correspondence between the two tokenizations. We prove that the resulting alignment cost bounds the MaxSim score difference on every page. Distilled from five state-of-the-art teachers, the 149M text-only students retain about 95% of their teachers' NDCG@5 on ViDoRe v1-v3 while encoding queries up to 26x faster. Under identical training, OTW matches score distillation while encoding no page and reading 12.6x less cached teacher data.