Beyond Similarity: Foundation Models as an Efficient Backbone for Training-Free Composed Video Retrieval
作者: Dmitry Demidov, Muhammad Zaigham Zaheer, Omkar Thawakar, Abdelrahman Mohamed Shaker, Rao Anwer
分类: cs.CV
发布日期: 2026-09-09
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于基础模型的高效训练无关视频检索方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 组合视频检索 基础模型 多模态验证 训练无关 视频推理
📋 核心要点
- 现有的组合视频检索方法在处理大规模图库时面临效率与细粒度推理之间的矛盾。
- 本文提出的 extit{CoVRAGE}框架通过适应查询难度调整基础模型的推理深度，实现高效的视频检索。
- 实验表明，该方法在Dense-WebVid-CoVR和CoVR-R数据集上分别达到了89.55和93.43的R@1，显著优于其他训练无关的方法。
📝 摘要（中文）
组合视频检索（CoVR）旨在根据自然语言修改从图库中搜索目标视频。然而，在大规模图库中，紧凑的嵌入虽然提高了搜索效率，但可能会忽略瞬态动作和细微约束，导致视频推理不足。为了解决这一问题，本文提出了一种框架 extit{CoVRAGE}，利用冻结的基础模型在不同查询难度下发挥互补作用。该方法通过组合查询嵌入进行初步搜索，随后对不确定查询进行重新排序和候选扩展，最终通过多模态验证确认目标视频。实验结果表明，该方法在训练无关的评估中达到了最先进的性能，显著优于现有方法。
🔬 方法详解
问题定义：本文解决的是组合视频检索中的效率与细粒度推理之间的矛盾。现有方法在大规模图库中使用紧凑嵌入时，可能会错过瞬态动作和细微约束，导致检索效果不佳。
核心思路：论文提出的 extit{CoVRAGE}框架利用冻结的基础模型，依据查询的难度调整推理深度，从而在保证检索效率的同时增强视频推理能力。
技术框架：该框架包括多个阶段：首先，通过组合查询嵌入搜索可重用的视频表示；其次，对不确定的查询进行有界重新排序和候选扩展；接着，模糊编辑触发目标描述生成；最后，只有接近的候选视频才会进行多模态验证。
关键创新：最重要的创新在于将基础模型的能力进行自适应协调，使得检索过程既具备可扩展性，又能实现细粒度推理，而无需针对特定任务进行训练。
关键设计：在框架中，帧选择、空间分辨率和时间线索都根据每个阶段的需求进行了调整，以支持不同的检索任务。
🖼️ 关键图片
📊 实验亮点
在Dense-WebVid-CoVR和CoVR-R数据集上， extit{CoVRAGE}分别达到了89.55和93.43的R@1，较最近的对比方法分别提升了超过35%和25%。这些结果表明，该方法在训练无关的视频检索领域达到了最先进的性能。
🎯 应用场景
该研究具有广泛的应用潜力，特别是在视频检索、内容推荐和多媒体信息检索等领域。通过提高检索效率和推理能力， extit{CoVRAGE}可以为用户提供更精准的内容推荐，提升用户体验。此外，该方法的训练无关特性使其在资源受限的环境中也能有效应用。
📄 摘要（原文）
Composed video retrieval (CoVR) searches a gallery for the target video that realizes a natural-language modification of a source clip. However, at gallery scale, this creates a fundamental tension: compact embeddings enable efficient, reusable search but can miss the transient actions, state changes, and subtle constraints that demand fine-grained video reasoning, whereas applying large multimodal models uniformly sacrifices scalability. To address these limitations, we propose that frozen foundation models should instead occupy complementary roles, with inference depth adapted to query difficulty. Based on this premise, we introduce \methodname{}, a framework for training-free \methodexpansion{}. Specifically, a composed-query embedding first searches reusable video-only gallery representations; uncertain queries undergo bounded reranking and candidate expansion; ambiguous edits trigger target-description generation; and only close leading candidates reach multimodal verification. To support these roles, frame selection, spatial resolution, and time cues are adapted to each stage. Across complete target-gallery evaluations, our method reaches state-of-the-art performance among training-free approaches, with 89.55 and 93.43 R@1 on Dense-WebVid-CoVR and CoVR-R, respectively (with more than +35\% and +25\% absolute margins to the closest counterpart). These results show that adaptively orchestrating foundation-model capabilities can combine scalable retrieval with fine-grained reasoning without task-specific training. The source code and all relevant guidelines are available on https://github.com/demidovd98/CoVRAGE.