Frame Differential On-Policy Self-Distillation for Video Reasoning

📄 arXiv: 2609.39021v1 📥 PDF

作者: Haiying He, Xin Zheng, Shaoli Hu, Shijun Xiao, Xuanhe Liu, Bing Li, Harry Yang

分类: cs.CV

发布日期: 2026-09-30

💡 一句话要点

提出帧差异在线自蒸馏方法以提升视频推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视频推理 强化学习 自蒸馏 多模态学习 稀疏帧策略 密集帧观察 深度学习 计算机视觉

📋 核心要点

  1. 现有视频推理方法在使用固定稀疏帧预算时，面临帧数增加导致成本高和帧数过少错失细节的挑战。
  2. 本文提出的FD-OPSD通过比较稀疏与密集视图下的策略偏好，进行自蒸馏以转移有用信息，提升训练效率。
  3. 在六个视频推理基准上，FD-OPSD在16、32和64帧设置下均表现出优于现有基线的整体性能。

📝 摘要（中文）

强化学习（RL）通过可验证的奖励和细粒度的视觉或时间信用分配，显著提升了多模态语言模型的推理能力。然而，在视频推理中，现有RL方法通常使用固定的稀疏帧预算，增加帧数会导致自回归展开成本高，而帧数过少则可能错过时间局部事件和细致的视觉细节。本文提出了帧差异在线自蒸馏（FD-OPSD），该方法在RL训练中将密集帧观察的有用证据转移到稀疏帧策略。FD-OPSD比较了策略在稀疏和密集视图下对同一采样响应的标记级偏好，并在没有外部教师或密集自回归展开的情况下蒸馏出帧差异信号。实验结果表明，FD-OPSD在多个视频推理基准上优于现有的GRPO、T-GRPO和Video-KTR基线。

🔬 方法详解

问题定义：现有视频推理方法在训练时使用固定的稀疏帧预算，导致在增加帧数时自回归展开成本高，而帧数过少则可能错过重要的时间局部事件和细节。这种限制影响了模型的推理能力和准确性。

核心思路：本文提出的FD-OPSD方法通过在RL训练中将密集帧观察的有用信息转移到稀疏帧策略，解决了上述问题。该方法通过比较稀疏和密集视图下的策略偏好，进行自蒸馏，从而在不依赖外部教师的情况下有效利用密集帧信息。

技术框架：FD-OPSD的整体架构包括两个主要模块：一是稀疏帧策略的训练，二是密集帧观察的自蒸馏过程。训练过程中，模型会在稀疏和密集视图下进行对比，提取帧差异信号。

关键创新：FD-OPSD的核心创新在于通过标记级自蒸馏实现了密集视觉证据的选择性转移，保留了稀疏帧展开的优势，并且推理过程保持不变。这一方法与传统的RL方法相比，显著提高了训练效率和推理能力。

关键设计：在设计上，FD-OPSD采用了特定的损失函数来优化稀疏和密集视图下的策略偏好对比，同时确保了网络结构能够有效处理不同帧数的输入。具体的参数设置和网络结构细节在实验部分进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在六个视频推理基准上，FD-OPSD在16、32和64帧设置下的整体平均性能均优于最强的GRPO、T-GRPO和Video-KTR基线，显示出显著的性能提升。这表明密集视觉证据的选择性转移在训练中具有重要价值。

🎯 应用场景

该研究的潜在应用领域包括视频理解、智能监控、自动驾驶等场景，能够有效提升模型在复杂视频数据中的推理能力。未来，FD-OPSD方法有望在多模态学习和实时视频分析中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Reinforcement learning (RL) has substantially improved the reasoning ability of multimodal language models through verifiable rewards and increasingly fine-grainedvisual or temporal credit assignment. In video reasoning, however, current RL methods typically train with a fixed sparse frame budget: increasing the number of frames makes autoregressive rollouts expensive, while too few frames may miss temporally localized events and fine-grained visual details. We present \textbf{Frame Differential On-Policy Self-Distillation (FD-OPSD)}, which transfers the useful evidence of dense frame observations to a sparse frame policy during RL training. FD-OPSD compares the policy's token level preferences for the same sampled response under sparse and dense views, and distills the resulting frame differential signal without an external teacher or dense autoregressive rollout. The method preserves sparse-frame rollouts and leaves inference unchanged. Across Qwen2.5-VL-7B and Qwen3-VL-4B on six video reasoning benchmarks, FD-OPSD yields higher overall average performance than the strongest corresponding GRPO, T-GRPO, or Video-KTR baselines across the 16, 32, and 64 frame evaluation settings. These results show that dense visual evidence can be transferred selectively during training through token level self-distillation while retaining sparse frame rollouts and unchanged inference.