ShotFinder: Imagination-Driven Open-Domain Video Shot Retrieval via Web Search
作者: Tao Yu, Haopeng Jin, Hao Wang, Shenghua Chai, Yujia Yang, Junhao Gong, Jiaming Guo, Minghui Zhang, Xinlong Chen, Zhenghao Zhang, Yuxuan Zhou, Yanpei Gong, YuanCheng Liu, Yiming Ding, Kangwei Zeng, Pengfei Yang, Zhongtian Luo, Yufei Xiong, Shanbin Zhang, Shaoxiong Cheng, Huang Ruilin, Li Shuo, Yuxi Niu, Xinyuan Zhang, Yueya Xu, Jie Mao, Ruixuan Ji, Yaru Zhao, Mingchen Zhang, Jiabing Yang, Jiaqi Liu, YiFan Zhang, Hongzhu Yi, Xinming Wang, Cheng Zhong, Xiao Ma, Zhang Zhang, Yan Huang, Liang Wang
分类: cs.CV, cs.AI
发布日期: 2026-01-30
备注: 28 pages, 7 figures
💡 一句话要点
ShotFinder：提出基于网络搜索和想象驱动的开放域视频镜头检索基准与方法
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频镜头检索 开放域检索 多模态学习 大型语言模型 视频理解
📋 核心要点
- 现有开放域视频镜头检索缺乏系统基准和分析，难以评估和提升模型性能。
- ShotFinder通过视频想象扩展查询，利用搜索引擎检索候选视频，并进行描述引导的时间定位。
- 实验表明，现有模型在颜色和视觉风格等约束上表现不佳，与人类性能存在显著差距。
📝 摘要（中文）
近年来，大型语言模型（LLMs）在信息检索领域取得了快速进展，但现有研究主要集中在文本或静态多模态设置中。开放域视频镜头检索涉及更丰富的时间结构和更复杂的语义，仍然缺乏系统的基准和分析。为了填补这一空白，我们引入了ShotFinder，这是一个将编辑需求形式化为面向关键帧的镜头描述的基准，并引入了五种可控的单因素约束：时间顺序、颜色、视觉风格、音频和分辨率。我们从YouTube的20个主题类别中整理了1,210个高质量样本，使用大型模型生成并经过人工验证。基于该基准，我们提出ShotFinder，这是一个文本驱动的三阶段检索和定位流程：（1）通过视频想象进行查询扩展，（2）使用搜索引擎进行候选视频检索，以及（3）描述引导的时间定位。在多个闭源和开源模型上的实验表明，与人类性能相比存在显著差距，并且约束之间存在明显的不平衡：时间定位相对容易处理，而颜色和视觉风格仍然是主要挑战。这些结果表明，开放域视频镜头检索仍然是多模态大型模型尚未克服的关键能力。
🔬 方法详解
问题定义：论文旨在解决开放域视频镜头检索问题，即根据文本描述，从海量视频中找到符合要求的特定镜头。现有方法主要集中在文本或静态多模态检索，忽略了视频的时序结构和复杂语义，缺乏针对视频镜头检索的系统性基准和评估。
核心思路：论文的核心思路是利用大型语言模型的视频想象能力来扩展查询，从而更准确地表达用户意图。同时，结合搜索引擎的广泛检索能力和描述引导的时间定位，实现高效的开放域视频镜头检索。
技术框架：ShotFinder包含三个主要阶段：(1) 查询扩展：利用大型语言模型，根据用户输入的文本描述，生成多个相关的视频场景描述，从而扩展查询。(2) 候选视频检索：使用搜索引擎，例如Google或Bing，根据扩展后的查询检索相关的候选视频。(3) 时间定位：利用多模态模型，例如CLIP或类似模型，对候选视频进行分析，找到与用户描述最匹配的视频片段。
关键创新：论文的关键创新在于提出了一个完整的开放域视频镜头检索框架，并构建了一个包含多种约束条件的高质量基准数据集ShotFinder。该框架结合了大型语言模型的想象能力、搜索引擎的检索能力和多模态模型的时间定位能力，实现了更准确和高效的视频镜头检索。
关键设计：ShotFinder基准数据集包含五种可控的单因素约束：时间顺序、颜色、视觉风格、音频和分辨率。在时间定位阶段，可以使用不同的多模态模型，例如CLIP或类似模型，并采用不同的损失函数进行训练，以提高时间定位的准确性。具体的参数设置和网络结构取决于所选择的多模态模型。
📊 实验亮点
实验结果表明，ShotFinder基准数据集对现有模型提出了挑战，现有模型在颜色和视觉风格等约束上的表现与人类性能存在显著差距。时间定位相对容易处理，而颜色和视觉风格仍然是主要挑战，这表明开放域视频镜头检索仍然是一个有待解决的问题。
🎯 应用场景
该研究成果可应用于视频编辑、内容审核、智能监控、教育视频检索等领域。例如，视频编辑人员可以快速找到需要的素材片段，内容审核人员可以自动检测违规视频内容，用户可以更方便地检索到感兴趣的教育视频。
📄 摘要（原文）
In recent years, large language models (LLMs) have made rapid progress in information retrieval, yet existing research has mainly focused on text or static multimodal settings. Open-domain video shot retrieval, which involves richer temporal structure and more complex semantics, still lacks systematic benchmarks and analysis. To fill this gap, we introduce ShotFinder, a benchmark that formalizes editing requirements as keyframe-oriented shot descriptions and introduces five types of controllable single-factor constraints: Temporal order, Color, Visual style, Audio, and Resolution. We curate 1,210 high-quality samples from YouTube across 20 thematic categories, using large models for generation with human verification. Based on the benchmark, we propose ShotFinder, a text-driven three-stage retrieval and localization pipeline: (1) query expansion via video imagination, (2) candidate video retrieval with a search engine, and (3) description-guided temporal localization. Experiments on multiple closed-source and open-source models reveal a significant gap to human performance, with clear imbalance across constraints: temporal localization is relatively tractable, while color and visual style remain major challenges. These results reveal that open-domain video shot retrieval is still a critical capability that multimodal large models have yet to overcome.