The Visual Bottleneck: Sparse-Frame Adaptation of MLLMs for Joint Spatial-Temporal Video Grounding

📄 arXiv: 2607.24570v1 📥 PDF

作者: Jiameng Zhang, Srikanth Madikeri

分类: cs.CV, cs.AI

发布日期: 2026-07-27

备注: 15 pages, 5 figures

💡 一句话要点

提出稀疏帧适应策略以解决视频定位中的性能瓶颈问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频定位 稀疏帧适应 多模态大语言模型 视觉特征提取 边界感知采样

📋 核心要点

  1. 现有的多模态大语言模型在稀疏帧输入下性能严重下降，导致视频定位任务的有效性降低。
  2. 提出了一种针对稀疏帧输入的训练策略，主要通过适配视觉特征提取模块来提升模型性能。
  3. 实验结果表明，经过适配的模型在时间mIoU上显著提升，且小模型在特定条件下优于大模型。

📝 摘要（中文）

大型视频平台每小时处理数百万个上传内容，迫切需要能够定位视频中政策违规行为的审查系统。然而，处理每一帧在规模上不可行，因此系统被限制为每个视频8到16帧的稀疏输入。现有的多模态大语言模型（MLLMs）在数百帧的密集序列上进行预训练，导致训练与部署条件之间存在根本不匹配，造成性能严重下降。本文通过系统的实证研究，提出了针对稀疏帧输入的训练策略，发现视觉特征提取是主要瓶颈。仅适配最后三层ViT模型，便能将时间mIoU提升至68.8%，超越使用密集输入的零-shot 8B模型12.8个百分点。边界感知采样策略Hybrid16进一步提升了26个百分点的时间mIoU。

🔬 方法详解

问题定义：本文旨在解决在稀疏帧输入下，现有多模态大语言模型（MLLMs）在视频定位任务中的性能下降问题。现有方法在处理稀疏输入时，模型性能大幅降低，导致无法有效定位视频中的政策违规行为。

核心思路：论文提出通过适配视觉特征提取模块，特别是最后三层ViT模型，以改善稀疏帧输入下的性能。通过这种方式，模型能够更好地提取关键视觉信息，从而提升时间mIoU。

技术框架：整体架构包括视觉特征提取、语言模型微调和边界感知采样三个主要模块。首先，提取稀疏帧的视觉特征；其次，进行语言模型的微调；最后，应用边界感知策略进行采样。

关键创新：最重要的技术创新在于识别出视觉特征提取是稀疏帧输入下的主要瓶颈，并通过适配少量参数显著提升模型性能。这一发现与传统方法依赖于大规模模型的思路形成鲜明对比。

关键设计：在模型设计中，适配了ViT的最后三层，仅占总参数的4%。此外，采用了边界感知的Hybrid16采样策略，以进一步提升时间mIoU表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，经过适配的模型在时间mIoU上达到了68.8%，相比于使用稀疏输入的零-shot 8B模型提升了12.8个百分点。此外，采用边界感知采样策略Hybrid16后，时间mIoU进一步提升了26个百分点，表明该方法在稀疏帧视频定位任务中的显著效果。

🎯 应用场景

该研究的潜在应用领域包括社交媒体内容审核、视频监控和自动化内容管理等。通过提升视频中政策违规行为的定位能力，能够有效提高内容审核的效率和准确性，具有重要的实际价值和社会影响。未来，该方法有望推广至更多视频分析任务中，推动相关领域的发展。

📄 摘要（原文）

Large-scale video platforms process millions of uploads hourly, requiring moderation systems that can localize when and where policy violations occur within each video. Processing every frame is infeasible at scale, so systems are constrained to sparse inputs of 8 to 16 frames per video. Yet state-of-the-art multimodal large language models (MLLMs) are pretrained on dense sequences of hundreds of frames, creating a fundamental mismatch between training and deployment conditions. This mismatch causes severe performance collapse: the Qwen3-VL 8B model drops from 56.0% to 22.3% temporal mIoU when frames are reduced to 16, a 60.2% relative degradation. We present a systematic empirical study of training strategies to close this gap for spatial-temporal video grounding. Our results suggest that visual feature extraction is the dominant bottleneck under sparse-frame inputs. Adapting only the final three ViT layers, 4% of total parameters, achieves 68.8% temporal mIoU and surpasses a zero-shot 8B model using dense inputs by 12.8 points. Language model fine-tuning, by contrast, offers negligible or negative returns. A boundary-aware sampling strategy, Hybrid16, further improves temporal mIoU by 26 points over uniform sampling when temporal boundaries are available. We conclude that for sparse-frame video grounding, training strategy dominates model scale: a fine-tuned 2B model consistently outperforms a zero-shot 8B model, with or without dense frame access.