MLLM Frame Subset Ensembling for Audio-Visual Video QA and MLLM-based Reranking for Ad-hoc Video Search in TRECVID 2025
作者: Andreas Goulas, Damianos Galanopoulos, Ioannis Patras, Vasileios Mezaris
分类: cs.CV
发布日期: 2026-10-16
备注: Proc. TREC 2025 Workshop, Dec. 2025
💡 一句话要点
提出基于MLLM的框架以提升视频问答和检索性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视频问答 视频检索 多模态学习 语义匹配 模型重排序 深度学习 视觉-语言模型
📋 核心要点
- 现有的视频问答和搜索方法在语义匹配和上下文理解方面存在不足，导致检索和回答的准确性不高。
- 提出的两阶段框架结合了多种视觉-语言模型和MLLM重排序模块，有效提升了视频片段的相关性评估。
- 通过微调和帧子集集成，VQA任务在三个指标上取得了最高分，显示出显著的性能提升。
📝 摘要（中文）
本文概述了CERTH-ITI团队在TRECVID 2025的Ad-hoc视频搜索（AVS）和视频问答（VQA）任务中的参赛方案。针对AVS任务，提出了一个基于基础模型的两阶段框架，第一阶段通过多种视觉-语言模型（VLMs）对输入查询和候选视频片段进行编码，生成加权相似度分数以进行初步检索。第二阶段利用多模态LLM（MLLM）重排序模块，评估前N个高排名片段与原始查询的语义对齐，生成更新的相关性分数以重新排序。这种MLLM驱动的重排序显著提高了上下文匹配，生成更准确的最终排名。针对VQA任务，本文对音视频MLLM模型进行了微调，并实施了推理时的缩放技术，以增强多模态理解能力。
🔬 方法详解
问题定义：本文旨在解决视频问答和视频检索中的语义匹配不足和上下文理解不佳的问题。现有方法往往依赖单一模型，难以充分利用多模态信息。
核心思路：通过引入多模态LLM（MLLM）和多种视觉-语言模型（VLMs），实现对输入查询和视频片段的深度语义理解和重排序，从而提升检索和问答的准确性。
技术框架：整体框架分为两大阶段：第一阶段使用多个VLMs对查询和视频片段进行编码，生成初步的相似度分数；第二阶段通过MLLM重排序模块对初步结果进行评估和重新排序，优化最终输出。
关键创新：最重要的创新在于MLLM驱动的重排序机制，无需额外的模型训练即可显著提高上下文匹配能力，与传统方法相比，能够更好地处理复杂的语义关系。
关键设计：在模型设计中，采用了多种视觉-语言模型进行初步检索，并在重排序阶段引入了语义对齐的评估机制，确保最终结果的相关性和准确性。
🖼️ 关键图片
📊 实验亮点
在VQA任务中，结合微调和帧子集集成的方法取得了最高分，显示出在多个评估指标上相较于基线方法有显著提升，尤其是在开放式答案生成任务中表现突出。
🎯 应用场景
该研究的潜在应用领域包括智能视频检索、自动化视频问答系统以及多模态内容理解等。通过提升视频理解能力，能够在教育、娱乐、安防等多个行业中发挥重要作用，推动相关技术的发展与应用。
📄 摘要（原文）
This paper presents the overview of the runs related to the Ad-hoc Video Search (AVS) and Video Question Answering (VQA) tracks of TRECVID 2025 on behalf of the CERTH-ITI team. For the AVS track, we introduce a two-stage framework built on foundation models. In the first stage, multiple vision-language models (VLMs) encode both the input query, augmented through LLM-generated rephrasings, and the candidate video shots, producing weighted similarity scores for initial retrieval. In the second stage, we utilize a Multimodal-LLM(MLLM)-based reranking module that evaluates the semantic alignment between each shot among the top-N highest-ranked ones and the original query, generating updated relevance scores for reordering these shots. This MLLM-driven reranking significantly improves contextual matching and produces more accurate final rankings without requiring any model training. Regarding the VQA track, we fine-tune an audio-visual MLLM model on the provided TRECVID training dataset and we implement an inference-time scaling technique to enhance the multimodal understanding capabilities of the MLLM. For the open-ended Answer Generation (AG) task, we aggregate multiple model responses per question via a majority vote. The responses are generated with greedy sampling from different random frame subsets of the video and they are ranked based on the number of votes. For the Multiple-Choice (MC) task, instead of voting, we use mean pooling on the logits assigned by the fine-tuned model to each candidate response. Through the combination of fine-tuning and frame subset ensembling we achieve the highest score across 3 metrics in the VQA AG task and the second highest in the VQA MC task.