Counterfactual Attention Policy Distillation for Temporal Video Grounding

📄 arXiv: 2609.34581v1 📥 PDF

作者: Shaobo Ju, Haiyang Yu, Xuecheng Wu, Qiong Wu, Jiacong Wang, Fan Shi, Peng Jun, Yiyi Zhou

分类: cs.CV

发布日期: 2026-09-28

💡 一句话要点

提出反事实注意力策略蒸馏以解决长视频时间定位问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长视频理解 蒸馏训练 多模态融合 时间定位 反事实学习

📋 核心要点

  1. 现有方法在长视频中难以识别支持每个预测时间戳的具体视频片段，影响时间定位的准确性。
  2. 论文提出反事实注意力策略蒸馏（CAPD），通过评估时间组掩蔽对教师输出的影响，增强学生模型的学习能力。
  3. 实验表明，CAPD在TimeLens数据集上相较于GRPO提高了12.0%的平均召回率，同时保持了对一般视频的理解能力。

📝 摘要（中文）

时间视频定位是先进的多模态大语言模型（MLLMs）理解视频事件的关键能力，但在长视频中，由于重复动作和视觉相似性，常常受到限制。本文从在线策略蒸馏（OPD）的角度研究这一问题，提出了一种新的训练机制，称为反事实注意力策略蒸馏（CAPD）。CAPD通过评估掩蔽每个时间组对教师输出分布的影响，校准教师的注意力并加权令牌级蒸馏，使学生能够学习影响边界预测的时间证据。实验结果表明，CAPD在TimeLens上相较于GRPO提高了12.0%的平均召回率，同时保持了对一般视频的理解，达到了与基础模型相当的准确性。

🔬 方法详解

问题定义：本文旨在解决长视频中的时间定位问题，现有的在线策略蒸馏（OPD）方法难以识别支持每个预测时间戳的具体视频片段，导致时间定位的准确性不足。

核心思路：反事实注意力策略蒸馏（CAPD）通过评估掩蔽时间组对教师输出分布的影响，校准教师的注意力，从而使学生模型能够学习到影响边界预测的时间证据。

技术框架：CAPD的整体架构包括教师模型和学生模型，教师模型提供密集的监督，学生模型通过反事实分析学习时间证据。训练过程中，CAPD通过掩蔽不同时间组来获取教师输出的变化，从而指导学生模型的学习。

关键创新：CAPD的核心创新在于通过反事实分析来校准教师的注意力，并加权令牌级蒸馏，这一方法与传统的基于下一个令牌的蒸馏方法有本质区别，能够更有效地支持时间定位。

关键设计：在技术细节上，CAPD采用了特定的损失函数来衡量教师输出的变化，并设计了适应性权重来调整学生模型的学习过程，确保学生能够有效学习到时间证据。具体的参数设置和网络结构设计在实验中经过优化，以提高模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CAPD在TimeLens数据集上相较于GRPO提高了12.0%的平均召回率，同时在多个一般视频基准上保持了与基础模型相当的准确性，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动视频摘要生成和人机交互等场景。通过提高长视频的时间定位能力，CAPD能够为多模态大语言模型提供更精准的事件理解，推动智能视频分析技术的发展，具有重要的实际价值和未来影响。

📄 摘要（原文）

Temporal video grounding is a key capability of advanced \emph{Multimodal Large Language Models} (MLLMs) for the thorough understanding of video events, which is however often limited by repeated actions and visually similar contexts in long videos. In this paper, we study this issue from the perspective of \emph{On-policy distillation} (OPD) and propose a new training regime for MLLMs termed \emph{Counterfactual Attention Policy Distillation} (CAPD). In particular, OPD is a viable solution for MLLMs via providing dense teacher supervision on student-generated trajectories. But its next-token based teacher-student distillation is hard to identify the specific video segments supporting each predicted timestamp, which is critical for temporal grounding. In this case, CAPD measures how masking each temporal group changes the teacher's output distribution. The resulting counterfactual influence calibrates the teacher's attention and weights token-level distillation, allowing the student to learn the temporal evidence that affects boundary prediction. To validate CAPD, we trained it on Qwen3-VL-8B-Instruct using only 2,500 samples for one epoch, and evaluated it on the TimeLens and multiple general video benchmarks. Experimental results show that CAPD improves average recall by 12.0\% relative to GRPO on TimeLens while preserving general video understanding, achieving comparable accuracy to the base model.