Multi-modal Knowledge Preserving Adapter for Embedding Backward Compatibility

📄 arXiv: 2609.16875v1 📥 PDF

作者: Jaeseok Byun, Gukyeong Kwon, Han-Kai Hsu, Meher Gitika Karumuri, Zhikang Zhang, Hao Yang, Davide Modolo

分类: cs.CV

发布日期: 2026-09-15

备注: 15 pages, ECCV 2026 camera ready

💡 一句话要点

提出多模态知识保留适配器以解决嵌入模型向后兼容性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 向后兼容性 嵌入模型 知识保留 适配器方法 大型语言模型 训练效率

📋 核心要点

  1. 现有的向后兼容训练方法通常需要更新主干模型，导致高昂的训练成本和性能风险。
  2. 提出的MKP-Adapter通过仅使用适配器实现向后兼容，无需更新主干模型，降低了训练复杂性。
  3. 实验结果显示，MKP-Adapter在多模态任务中表现出色，且相较于原主干模型仅增加了微小的延迟。

📝 摘要（中文）

升级嵌入模型通常需要昂贵的数据库重新索引，因为新的查询嵌入与现有数据库嵌入不兼容。虽然向后兼容训练（BCT）通过在训练期间强制兼容性来缓解这一问题，但现有方法通常需要更新主干模型，这在训练成本、性能回归风险和对专有模型权重的有限访问方面都不切实际。我们提出了多模态知识保留适配器（MKP-Adapter），这是首个仅适配器的BCT方法，适用于多模态大型语言模型（MLLMs），无需更新主干模型。我们提出了一种多层次保留损失，维护嵌入空间的几何结构，并集成了焦点重加权策略，以优先学习具有挑战性的样本。实验表明，我们的方法在多种多模态基准测试中实现了强大的向后兼容性。

🔬 方法详解

问题定义：本论文旨在解决嵌入模型升级时的向后兼容性问题。现有方法需要更新主干模型，导致高昂的成本和性能风险。

核心思路：我们提出了多模态知识保留适配器（MKP-Adapter），通过仅使用适配器实现向后兼容，避免了对主干模型的更新。该方法通过多层次保留损失来维护新嵌入的知识，同时确保向后兼容性。

技术框架：MKP-Adapter的整体架构包括适配器模块和多层次保留损失计算。适配器模块负责处理新嵌入，而保留损失则确保嵌入空间的几何结构不变。

关键创新：MKP-Adapter是首个仅依赖适配器的BCT方法，显著降低了训练成本，并避免了主干模型的更新。与现有方法相比，它在保持知识的同时实现了向后兼容性。

关键设计：我们设计了多层次保留损失函数，以确保新旧嵌入之间的几何结构一致。此外，焦点重加权策略被集成，以优先关注难以学习的样本，从而提高模型的学习效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MKP-Adapter在多种多模态基准测试中表现出色，尤其是在图像、文本和视频检索任务中，均实现了显著的向后兼容性，且相较于基线方法，性能提升幅度达到XX%（具体数据未知）。

🎯 应用场景

该研究的潜在应用领域包括图像、文本、视觉文档和视频检索等多模态任务。MKP-Adapter的高效性和向后兼容性使其在实际应用中具有重要价值，尤其是在需要频繁更新嵌入模型的场景中。未来，该方法可能推动多模态大型语言模型的广泛应用和发展。

📄 摘要（原文）

Upgrading embedding models typically requires expensive database re-indexing, as new query embeddings are incompatible with existing database embeddings. While Backward Compatible Training (BCT) mitigates this by enforcing compatibility during training, existing approaches often require updating the backbone model. This is impractical because of significant training cost, the risk of performance regression, and limited access to proprietary model weights. We introduce Multi-modal Knowledge Preserving Adapter (MKP-Adapter), the first adapter-only BCT approach for Multi-modal Large Language Models (MLLMs) that requires no backbone updates. We identified that the primary challenge in adapter-only BCT is preserving the knowledge of the new embeddings while enforcing backward compatibility. Hence, we propose a multi-level preservation loss that maintains the geometric structure of the embedding spaces throughout BCT. Furthermore, a focal re-weighting strategy is integrated to prioritize learning from challenging samples. Experiments demonstrate that our method achieves strong backward compatibility across diverse multi-modal benchmarks (image, text, visual document, and video retrieval tasks) and model types. Notably, MKP-Adapter is trained solely on pre-extracted embeddings and requires only negligible additional latency relative to the original backbone forward pass, highlighting its efficiency.