ResComEmb: Effective and Efficient Multimodal Embedding via Residual Homogeneity Compression

📄 arXiv: 2609.37225v1 📥 PDF

作者: Zijing Cai, Yuzhe Wang, Jingxian Zhu, Fengbin Zhu, Richang Hong

分类: cs.CV, cs.AI

发布日期: 2026-09-29

备注: 19 pages

💡 一句话要点

提出ResComEmb以解决多模态嵌入的效率与表达力问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态嵌入 残差同质性压缩 视觉文档检索 动态分辨率编码 双向匹配机制

📋 核心要点

  1. 现有多模态嵌入方法在表达能力和存储效率之间存在权衡，限制了其应用潜力。
  2. ResComEmb通过动态分辨率编码和残差同质性压缩模块，有效减少冗余，提高多模态嵌入的表达能力与效率。
  3. 实验结果显示，ResComEmb在多模态嵌入质量上超越了多个基线模型，并在视觉文档检索中表现出色。

📝 摘要（中文）

多模态大型语言模型（MLLMs）在通用多模态表示学习中展现出强大的潜力。然而，现有方法要么将每个输入压缩为单一向量，限制了细粒度表达能力，要么保留长序列的视觉标记向量，导致存储和交互成本高。为了解决这一权衡，本文提出了ResComEmb，一个可训练的框架，用于有效且高效的通用多向量多模态嵌入。ResComEmb首先以动态分辨率对每个输入进行编码，生成有序的全局、中间和细粒度视图。经过MLLM上下文化和嵌入投影后，训练的残差同质性压缩（RHC）模块在明确的视觉标记预算下减少了内部冗余和跨粒度重复。最后，ResComEmb引入了一种长度自适应的双向晚期交互匹配机制，增强了查询-文档评分的鲁棒性。大量实验表明，ResComEmb在多模态嵌入质量上优于VLM2Vec-V2，并在视觉文档检索中仅使用37.5%的完整视觉标记预算超越ColQwen2.5，展现出良好的效果与效率平衡。

🔬 方法详解

问题定义：现有多模态嵌入方法往往将输入压缩为单一向量，导致细粒度信息丢失，或保留长序列视觉标记向量，增加存储和交互成本。

核心思路：ResComEmb通过动态分辨率编码生成多层次视图，并利用残差同质性压缩模块减少冗余，从而在保持表达能力的同时提高效率。

技术框架：ResComEmb的整体架构包括输入编码、MLLM上下文化、嵌入投影和残差同质性压缩模块，最后通过双向晚期交互匹配机制进行查询-文档评分。

关键创新：最重要的创新在于引入了残差同质性压缩模块，能够在明确的视觉标记预算下有效减少冗余，显著提升多模态嵌入的质量。

关键设计：该方法采用动态分辨率编码，设置了明确的视觉标记预算，并设计了长度自适应的双向匹配机制，以增强查询-文档评分的鲁棒性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，ResComEmb在多模态嵌入质量上优于VLM2Vec-V2，并在视觉文档检索中仅使用37.5%的完整视觉标记预算超越ColQwen2.5，展示了显著的效果提升和效率优势。

🎯 应用场景

ResComEmb的研究成果在多模态信息检索、视觉问答和内容生成等领域具有广泛的应用潜力。其高效的嵌入表示能够提升系统的响应速度和准确性，未来可能在智能助手和自动化内容生成中发挥重要作用。

📄 摘要（原文）

Multimodal large language models (MLLMs) have shown strong potential for universal multimodal representation learning. However, existing methods either compress each input into a single vector, limiting fine-grained expressiveness, or retain long sequences of visual-token vectors, incurring substantial storage and interaction costs. To resolve this trade-off, we propose ResComEmb, a trainable framework for effective and efficient universal multi-vector multimodal embedding. ResComEmb first encodes each input at native dynamic resolution into ordered global, intermediate, and fine-grained views. After MLLM contextualization and embedding projection, a trainable Residual Homogeneity Compression (RHC) module reduces within-granularity redundancy and cross-granularity repetition under explicit visual token budgets. Then, ResComEmb introduces a length-adaptive Bidirectional Late-Interaction Matching mechanism for robust query-document scoring, which averages the strongest token-level matches in each direction and combines the two scores using a weight based on how many valid tokens each side has. Extensive experiments on MMEB, ViDoRe V1, and ViDoRe V2 show that ResComEmb produces higher-quality universal multimodal embeddings than VLM2Vec-V2, and outperforms ColQwen2.5 in visual document retrieval using only 37.5% of its full visual token budget, demonstrating a favorable effectiveness-efficiency trade-off.