Spherical Interpolation for Backward-Compatible Multimodal Representations
作者: Simone Ricci, Niccolò Biondi, Federico Pernici
分类: cs.CV, cs.LG
发布日期: 2026-09-30
备注: Accepted at NeurIPS 2026
🔗 代码/项目: GITHUB
💡 一句话要点
提出球面插值以解决多模态表示的向后兼容性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态表示 球面插值 对比学习 模型升级 检索优化
📋 核心要点
- 现有对比视觉-语言模型在模型升级时面临表示空间不兼容的问题，导致重新计算嵌入的成本过高。
- 论文提出通过沿球面测地线插值来改善新旧模型查询之间的对齐，从而提高检索效果。
- 实验结果显示，后对齐的球面插值在多个基准测试中优于传统的正交对齐，恢复了向后兼容性。
📝 摘要（中文）
对比视觉-语言模型将视觉和文本表示映射到共享的归一化嵌入空间，使得余弦相似度成为跨模态检索的自然度量。然而，在模型升级过程中，独立训练的模型通常会产生不兼容的表示空间，替换已部署模型通常需要重新计算整个图库的嵌入，这在规模上是不可行的。正交后期对齐可以部分缓解此问题，但由于独立训练模型在细粒度表示结构上可能存在差异，正交对齐仍然是近似的，导致旧模型查询与对齐的新模型查询之间存在残余角度差异。我们研究了沿着这两个归一化查询表示之间的球面测地线插值是否能在不重新索引图库的情况下改善检索。实验表明，后对齐的球面插值在大多数评估设置中优于单独的正交对齐，恢复了向后兼容性。
🔬 方法详解
问题定义：论文要解决的问题是如何在模型升级时保持多模态表示的向后兼容性。现有方法在独立训练的模型之间存在表示空间不兼容，导致替换模型时需要重新计算整个图库的嵌入，成本高昂。
核心思路：论文的核心思路是通过沿着旧模型查询和新模型查询之间的球面测地线进行插值，以找到更优的查询方向，从而提高检索效果。这样设计的原因在于，插值路径可能包含比两端点更接近理想检索方向的内部查询点。
技术框架：整体架构包括三个主要模块：首先是对旧模型和新模型的查询进行正交对齐，其次是沿着球面测地线进行插值，最后是评估插值后的查询在检索中的表现。
关键创新：最重要的技术创新点在于提出了球面插值方法，克服了传统正交对齐的局限性，能够更好地处理不同模型之间的细粒度表示差异。
关键设计：在技术细节上，论文使用了基于余弦相似度的检索评估指标，并通过局部边际认证结果将插值路径与Recall@$K$联系起来，以验证插值的有效性。实验中还进行了每查询的oracle分析，以支持理论结果。
🖼️ 关键图片
📊 实验亮点
实验结果表明，后对齐的球面插值在多个基准测试中显著提高了检索性能，相较于传统的正交对齐方法，提升幅度达到XX%（具体数据待补充）。这种方法在大多数评估设置中成功恢复了向后兼容性。
🎯 应用场景
该研究的潜在应用领域包括跨模态检索、智能搜索引擎和多模态学习系统。通过提高模型间的兼容性，可以在实际应用中减少模型更新带来的成本和复杂性，提升用户体验。未来，该方法可能推动更多领域的模型集成与升级。
📄 摘要（原文）
Contrastive vision-language models map visual and textual representations into a shared normalized embedding space, making cosine similarity the natural metric for cross-modal retrieval. A practical challenge arises during model upgrades: independently trained models generally produce incompatible representation spaces, so replacing a deployed model typically requires recomputing embeddings for the entire gallery, which is prohibitively expensive at scale. Orthogonal post-hoc alignment can partially mitigate this problem by mapping new-model queries into the old-model gallery space. However, because independently trained models can differ in fine-grained representation structure, the orthogonal alignment remains approximate, leaving a residual angular discrepancy between the old-model query and the aligned new-model query. We study whether interpolation along the spherical geodesic between these two normalized query representations can improve retrieval without re-indexing the gallery. We characterize when this path contains an interior query direction closer to an idealized retrieval-optimal direction than either endpoint, and connect this characterization to Recall@$K$ through a local margin-based certification result. Experiments across multiple benchmarks and model families show that post-alignment spherical interpolation improves over orthogonal alignment alone, recovering backward-compatibility in most evaluated settings. Consistent with our geometric characterization, per-query oracle analysis shows that retrieval-favorable interior points occur frequently in practice. Code is available at https://github.com/miccunifi/SLERP_backward_compatibility .