K-frames: Scene-Driven Any-k Keyframe Selection for long video understanding
作者: Yifeng Yao, Yike Yun, Jing Wang, Huishuai Zhang, Dongyan Zhao, Ke Tian, Zhihao Wang, Minghui Qiu, Tao Wang
分类: cs.LG, cs.AI
发布日期: 2025-10-14
💡 一句话要点
提出K-frames：一种场景驱动的任意数量关键帧选择方法，用于长视频理解。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 长视频理解 关键帧选择 场景驱动 多模态学习 强化学习 视频摘要 视频检索
📋 核心要点
- 现有长视频理解方法，如均匀采样或文本检索，易丢失信息且忽略场景连续性，缺乏灵活性。
- K-frames通过预测语义连贯的、与查询相关的视频片段，实现场景驱动的任意数量关键帧选择。
- 提出的K-frames在多个长视频理解基准上表现出有效性，并具有良好的可解释性和即插即用性。
📝 摘要（中文）
多模态大型语言模型(MLLM)在图像理解方面表现出显著的能力，但长视频受到上下文窗口和计算成本的限制。均匀帧采样通常会导致大量信息丢失。同时，现有的关键帧选择方法，如文本-帧检索或基于强化学习的帧优化，通常会产生稀疏且时间上不连续的帧，忽略了场景的连续性，并且缺乏多尺度帧选择的灵活性。为了解决这些限制，我们引入了K-frames，一种新颖的场景驱动的关键帧选择范例，它保留了时间连续性。K-frames不是选择单个帧，而是预测语义连贯的、与查询相关的片段，从而能够进行任意数量的关键帧选择，以满足不同的用户预算。为了实现这种方法，我们首先引入了PeakClips，一个包含20万个视频高光片段的数据集，这些片段以查询为条件。基于该数据集，K-frames使用一个三阶段的渐进课程学习clip2frame选择。它包括两个用于时间定位和关键片段感知的监督微调阶段，以及一个直接优化下游任务场景驱动预测策略的强化学习阶段，无需进一步的标注。在主要的长期视频理解基准上的大量实验表明，K-frames为各种规模的关键帧选择提供了一种有效、可解释和即插即用的解决方案。我们的数据集和模型将会开源。
🔬 方法详解
问题定义：长视频理解面临信息冗余和计算成本高的挑战。均匀采样损失信息，而现有关键帧选择方法（如文本-帧检索、强化学习优化）产生稀疏、时间不连续的帧，忽略场景连贯性，且缺乏多尺度选择的灵活性。
核心思路：K-frames的核心在于从场景角度出发，不再选择单个帧，而是预测语义连贯且与查询相关的视频片段（clips）。通过选择这些片段，既保留了时间连续性，又能够根据用户需求选择任意数量的关键帧，从而在信息保留和计算成本之间取得平衡。这种基于片段的选择方式更符合人类对视频内容的理解方式。
技术框架：K-frames包含三个主要阶段：1) 数据集构建：构建PeakClips数据集，包含20万个视频高光片段，以查询为条件。2) 监督微调：分为两个阶段，首先进行时间定位，然后进行关键片段感知。3) 强化学习：直接优化场景驱动的预测策略，用于下游任务，无需额外标注。整体流程是从数据准备到模型训练，再到策略优化，最终实现高效的关键帧选择。
关键创新：K-frames的关键创新在于其场景驱动的片段选择范式。与以往选择单个帧的方法不同，K-frames选择的是语义连贯的视频片段，从而更好地保留了视频的上下文信息和时间连续性。此外，K-frames还引入了渐进课程学习策略，通过监督微调和强化学习相结合的方式，有效地训练了关键帧选择模型。
关键设计：PeakClips数据集的构建是关键。监督微调阶段，使用了特定的损失函数来优化时间定位和关键片段感知能力。强化学习阶段，设计了合适的奖励函数，以鼓励模型选择与查询相关的、具有代表性的视频片段。具体网络结构和参数设置在论文中详细描述，但总体目标是使模型能够准确预测与查询相关的关键视频片段。
🖼️ 关键图片
📊 实验亮点
K-frames在多个长视频理解基准测试中表现出色，证明了其有效性。具体性能数据和对比基线将在论文中详细展示。实验结果表明，K-frames能够以更低的计算成本，实现与现有方法相当甚至更好的性能，并且具有更好的可解释性和灵活性。
🎯 应用场景
K-frames可应用于视频摘要、视频检索、视频编辑、智能监控等领域。通过提取关键帧，可以大幅降低视频处理的计算成本，提高效率。例如，在视频监控中，可以快速定位异常事件；在视频编辑中，可以快速找到需要的素材片段。该研究对于推动长视频理解和应用具有重要意义。
📄 摘要（原文）
Multimodal Large Language Models (MLLMs) have demonstrated significant capabilities in image understanding, but long-video are constrained by context windows and computational cost. Uniform frame sampling often leads to substantial information loss. Meanwhile existing keyframe selection methods such as text-frame retrieval or RL-based frame optimization typically yield sparse and temporally disjointed frames, overlooking scene continuity and lacking flexibility for multi-scale frame selection. To address these limitations, we introduce K-frames, a novel paradigm for scene-driven keyframe selection that preserves temporal continuity. Instead of selecting individual frames, K-frames predicts semantically coherent, query-relevant clips, which enables any-k keyframes selection to meet diverse user budgets. To achieve this approach, we first introduce PeakClips, a dataset of 200K video highlights conditioned by query. Building on this dataset, K-frames learns clip2frame selection using a three-stage progressive curriculum. It involves two Supervised Fine-Tuning stages for temporal grounding and key-clip perception, followed by a Reinforcement Learning stage that directly optimizes the scene-driven prediction policy for downstream task without further annotations. Extensive experiments on major long-video understanding benchmarks demonstrate that K-frames provides an effective, interpretable, and plug-and-play solution for keyframe selection at various scales. Our dataset and model will be available.