SAPO: Self-Supervised Attention Policy Optimization for Improving Temporal Video Grounding in Vision-Language Models

📄 arXiv: 2610.25923v1 📥 PDF

作者: Zixuan Chen, Depeng Wang, Wei Chen, Ke Xu, Ya Guo, Huijia Zhu, Tanfeng Sun, Xinghao Jiang

分类: cs.CV

发布日期: 2026-10-19

💡 一句话要点

提出SAPO以解决视频语言模型的时间定位精度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频语言模型 时间定位 自监督学习 多模态理解 策略优化

📋 核心要点

  1. 核心问题：现有视频语言模型在时间定位的精确性上存在显著不足，导致模型在实际应用中表现不佳。
  2. 方法要点：提出自监督注意力策略优化（SAPO），利用内部时间注意力进行自监督，优化样本选择以提升时间定位能力。
  3. 实验或效果：SAPO在多个数据集上均表现出色，相对mIoU提升显著，验证了其在不同模型上的有效性。

📝 摘要（中文）

视频视觉语言模型（VLMs）在语义理解方面表现出色，但在精确的时间定位上仍然不可靠。现有方法通过将视频帧与绝对时间显式对齐，表明VLMs可能已经在内部编码了准确的时间位置，但在将其表达为时间戳时却失去了精度。本文提出自监督注意力策略优化（SAPO），利用内部时间注意力作为自监督信号，优化相对策略，选择高价值样本，从而在多个数据集和模型上持续改善时间定位能力。相对mIoU的提升在Qwen2.5-VL-3B上达到33.7%，在强模型Time-R1-7B上达到5.4%。

🔬 方法详解

问题定义：论文要解决的问题是视频语言模型在时间定位上的精确性不足，现有方法通过绝对时间对齐未能有效提升模型性能，导致时间生成存在差距。

核心思路：论文的核心思路是利用内部时间注意力作为自监督信号，通过优化策略选择高价值样本，从而提升时间定位的准确性。这样的设计旨在减少对精确时间标注的依赖，利用未标注的数据进行有效学习。

技术框架：整体架构包括自监督学习模块和相对策略优化模块。首先，通过内部时间注意力生成自监督信号，然后应用相对策略优化选择样本，最后进行模型训练以提升时间定位能力。

关键创新：最重要的技术创新在于引入自监督注意力策略优化（SAPO），通过内部注意力机制进行自监督学习，显著缩小了时间生成差距，与传统方法相比，减少了对标注数据的需求。

关键设计：关键设计包括选择高价值样本的标准、损失函数的设置以及模型训练的策略，确保在不同模型和数据集上均能实现有效的时间定位提升。具体参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，SAPO在多个数据集上均实现了显著的性能提升，Qwen2.5-VL-3B模型的相对mIoU提升达到33.7%，而强模型Time-R1-7B的提升幅度为5.4%。这些结果表明，SAPO在不同模型和数据集间具有良好的迁移能力，增强了视频理解的整体效果。

🎯 应用场景

该研究的潜在应用领域包括视频检索、视频摘要生成和人机交互等场景。通过提升视频语言模型的时间定位能力，能够在多模态理解和信息检索中实现更高的准确性和效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Video vision-language models (VLMs) have strong semantic understanding, yet remain unreliable at precise temporal grounding. Existing gains from explicitly aligning video frames with absolute time suggest that VLMs may already encode accurate temporal locations internally but lose precision when expressing them as timestamps. Our analysis across four VLMs and two grounding datasets confirms this hypothesis: attention intervals outperform predicted intervals on approximately 66% of valid examples. We term this discrepancy the temporal generation gap. Because precise temporal annotations are expensive, this finding motivates closing the gap to improve temporal grounding using only unlabeled video-query pairs. We propose Self-Supervised Attention Policy Optimization (SAPO), which uses internal temporal attention as self-supervision for Group Relative Policy Optimization and applies a ground-truth-free criterion to select high-value samples. SAPO consistently improves temporal grounding across multiple datasets and models spanning weak to strong initial grounding ability. Relative mIoU gains reach 33.7% on Qwen2.5-VL-3B and 5.4% on the strong Time-R1-7B. The improvements transfer across datasets while preserving general video understanding.