ForeSea: AI Forensic Search with Multi-modal Queries for Video Surveillance
作者: Hyojin Park, Yi Li, Janghoon Cho, Sungha Choi, Jungsoo Lee, Taotao Jing, Shuai Zhang, Munawar Hayat, Dashan Gao, Ning Bi, Fatih Porikli
分类: cs.CV
发布日期: 2026-03-24
💡 一句话要点
ForeSea：面向视频监控的多模态查询AI取证搜索系统
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频监控 多模态查询 AI取证 视频检索 时间定位
📋 核心要点
- 现有视频监控系统在处理长时程、多摄像头视频时，难以进行精确的目标搜索，尤其是在多模态查询场景下。
- ForeSea提出了一种三阶段的AI取证搜索系统，利用跟踪、多模态嵌入和VideoLLM，实现高效的视频检索和事件定位。
- ForeSea在ForeSeaQA基准测试中，相较于现有VideoRAG模型，准确率提升3.5%，时间IoU提升11.0%。
📝 摘要（中文）
尽管经过数十年的发展，监控系统仍然难以在漫长的多摄像头视频中找到特定目标。现有方法，如跟踪流水线、基于CLIP的模型和VideoRAG，需要大量手动过滤，仅捕获浅层属性，并且在时间推理方面表现不佳。现实世界的搜索本质上是多模态的（例如，结合人物图像提问“此人何时加入战斗？”），但这种设置仍未得到充分探索。此外，缺乏合适的基准来评估这种设置。为了解决这个差距，我们引入了ForeSeaQA，这是一个专门为带有图像和文本查询的视频问答以及关键事件的时间戳注释而设计的新基准。该数据集包含长时程监控录像，并配有多样化的多模态问题，从而能够在真实的取证条件下系统地评估检索、时间定位和多模态推理。不仅限于此基准，我们还提出了ForeSea，一个具有三阶段、即插即用流水线的AI取证搜索系统。(1) 跟踪模块过滤掉不相关的镜头；(2) 多模态嵌入模块索引剩余的片段；(3) 在推理过程中，系统检索前K个候选片段，供视频大语言模型(VideoLLM)回答查询并定位事件。在ForeSeaQA上，ForeSea的准确率比之前的VideoRAG模型提高了3.5%，时间IoU提高了11.0%。据我们所知，ForeSeaQA是第一个支持复杂多模态查询和精确时间定位的基准，而ForeSea是第一个专为在这种设置中表现出色而构建的VideoRAG系统。
🔬 方法详解
问题定义：论文旨在解决在长时程、多摄像头监控视频中，利用多模态查询（图像+文本）进行精确目标搜索和事件定位的问题。现有方法，如跟踪流水线、基于CLIP的模型和VideoRAG，存在需要手动过滤、仅捕获浅层属性以及时间推理能力不足等痛点。
核心思路：论文的核心思路是构建一个三阶段的AI取证搜索系统，该系统能够有效地过滤不相关视频片段，利用多模态嵌入索引剩余片段，并使用VideoLLM进行推理和事件定位。通过这种方式，系统能够更好地理解多模态查询，并实现更精确的视频检索和时间定位。
技术框架：ForeSea系统包含三个主要模块：1) 跟踪模块：用于过滤掉与查询无关的视频片段，减少后续处理的数据量。2) 多模态嵌入模块：用于将剩余的视频片段和多模态查询嵌入到同一向量空间中，以便进行相似性搜索。3) VideoLLM模块：用于对检索到的候选片段进行推理，回答查询并定位事件发生的时间。整个流程是即插即用的，允许灵活地替换或改进各个模块。
关键创新：论文的关键创新在于提出了一个专门针对多模态查询的视频取证搜索系统，并构建了一个新的基准数据集ForeSeaQA。ForeSea系统通过结合跟踪、多模态嵌入和VideoLLM，实现了更精确的视频检索和时间定位。ForeSeaQA是第一个支持复杂多模态查询和精确时间定位的基准，为该领域的研究提供了新的评估标准。
关键设计：跟踪模块的具体实现方式未知，但其目标是减少后续处理的数据量。多模态嵌入模块可能使用了对比学习或其他技术，以确保视频片段和多模态查询在嵌入空间中的相似性能够反映其语义相关性。VideoLLM模块的具体选择和配置未知，但其需要具备理解视频内容和多模态查询的能力，并能够进行时间推理。
🖼️ 关键图片
📊 实验亮点
ForeSea在ForeSeaQA基准测试中表现出色，相较于之前的VideoRAG模型，准确率提高了3.5%，时间IoU提高了11.0%。这些结果表明，ForeSea系统能够有效地处理多模态查询，并实现更精确的视频检索和时间定位。ForeSeaQA基准的提出也为该领域的研究提供了新的评估标准。
🎯 应用场景
ForeSea系统可应用于各种视频监控场景，例如犯罪调查、失物查找、安全事件分析等。该系统能够帮助执法人员和安全分析师快速准确地找到目标人物或事件，提高工作效率，并为案件侦破提供有力支持。未来，该系统还可以扩展到其他领域，例如智能交通、智慧城市等。
📄 摘要（原文）
Despite decades of work, surveillance still struggles to find specific targets across long, multi-camera video. Prior methods -- tracking pipelines, CLIP based models, and VideoRAG -- require heavy manual filtering, capture only shallow attributes, and fail at temporal reasoning. Real-world searches are inherently multimodal (e.g., "When does this person join the fight?" with the person's image), yet this setting remains underexplored. Also, there are no proper benchmarks to evaluate those setting - asking video with multimodal queries. To address this gap, we introduce ForeSeaQA, a new benchmark specifically designed for video QA with image-and-text queries and timestamped annotations of key events. The dataset consists of long-horizon surveillance footage paired with diverse multimodal questions, enabling systematic evaluation of retrieval, temporal grounding, and multimodal reasoning in realistic forensic conditions. Not limited to this benchmark, we propose ForeSea, an AI forensic search system with a 3-stage, plug-and-play pipeline. (1) A tracking module filters irrelevant footage; (2) a multimodal embedding module indexes the remaining clips; and (3) during inference, the system retrieves top-K candidate clips for a Video Large Language Model (VideoLLM) to answer queries and localize events. On ForeSeaQA, ForeSea improves accuracy by 3.5% and temporal IoU by 11.0 over prior VideoRAG models. To our knowledge, ForeSeaQA is the first benchmark to support complex multimodal queries with precise temporal grounding, and ForeSea is the first VideoRAG system built to excel in this setting.