MarKey: Marginal Utility Guided Greedy Keyframe Selection for Long Video Understanding

📄 arXiv: 2609.15408v1 📥 PDF

作者: Hongchang Shi, Jinpeng Hu, Ao Wang, Wenzheng Zhou, Hui Ma, Feng Li, Zenglin Shi

分类: cs.CV, cs.CL

发布日期: 2026-09-14

💡 一句话要点

提出MarKey以解决长视频理解中的关键帧选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 关键帧选择 贪婪优化 多模态学习 视频分析

📋 核心要点

  1. 现有的关键帧选择方法往往孤立评分帧，未考虑候选帧与已选帧的互补性，导致冗余选择和证据覆盖不全。
  2. MarKey通过将关键帧选择视为子集感知的贪婪优化，利用查询相关性和边际增益来评分候选帧，从而提高选择效率。
  3. 在六个基准测试上，MarKey在整体视频理解、人本视频理解和开放式视频理解任务中表现优异，超越了现有方法。

📝 摘要（中文）

长视频理解对多模态大型语言模型（MLLMs）仍然具有挑战性，因为密集编码长帧序列计算开销大，而在有限视觉预算下均匀采样可能会遗漏稀疏但关键的证据。为了解决这一问题，本文提出了MarKey，一个训练无关的框架，将关键帧选择形式化为子集感知的贪婪优化。MarKey在每次迭代中使用可处理的替代方法对每个候选帧进行评分，考虑查询相关性、边际覆盖增益和上下文相关冗余，并选择效用最高的帧。实验结果表明，MarKey在多个基准测试中始终优于现有方法。

🔬 方法详解

问题定义：长视频理解中的关键帧选择面临计算开销大和信息覆盖不足的问题。现有方法往往忽视候选帧之间的互补性，导致冗余和信息缺失。

核心思路：MarKey提出了一种训练无关的贪婪优化框架，通过考虑查询相关性、边际覆盖增益和上下文冗余来评分候选帧，从而实现更高效的关键帧选择。

技术框架：该方法的整体架构包括候选帧评分模块、子集选择模块和迭代优化过程。通过代表性锚点和已选帧的窗口限制上下文比较，提高了评估效率。

关键创新：MarKey的创新在于其子集感知的评分机制，能够有效减少冗余选择并提高信息覆盖，与传统方法相比具有显著优势。

关键设计：在设计中，MarKey使用了紧凑的代表性锚点集来近似全视频覆盖，并通过限制上下文比较的窗口来提高计算效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个基准测试中，MarKey在整体视频理解、人本视频理解和开放式视频理解任务上均表现优异，超越了现有方法，展现出在不同MLLM骨干、模型规模和帧预算下的稳健提升。

🎯 应用场景

MarKey的研究成果在视频分析、监控系统、自动摘要生成等领域具有广泛的应用潜力。通过高效的关键帧选择，能够显著提升长视频的理解能力，进而推动多模态学习和智能视频处理的发展。

📄 摘要（原文）

Long-video understanding remains challenging for multimodal large language models (MLLMs) because densely encoding long frame sequences is computationally expensive, while uniform sampling under a limited visual budget can miss sparse yet decisive evidence. Recent training-free keyframe selection methods have enabled more efficient inference and yielded promising performance gains. However, many existing methods score frames largely in isolation without explicitly considering how each candidate complements the currently selected subset, potentially resulting in redundant selections and incomplete evidence coverage. To address this limitation, we propose MarKey, a training-free framework that formulates keyframe selection as subset-aware greedy optimization. At each iteration, MarKey scores each candidate using a tractable surrogate that jointly accounts for query relevance, marginal coverage gain, and context-dependent redundancy, and selects the frame with the highest utility. To make this iterative subset-aware evaluation efficient, MarKey uses a compact set of representative anchors to approximate full-video coverage and a bounded window of previously selected frames to limit context-dependent comparisons. Experiments on six benchmarks spanning holistic video understanding, human-centric video understanding, and open-ended video understanding demonstrate that MarKey consistently outperforms existing methods. Further analyses show robust gains across different MLLM backbones, model scales, and frame budgets.