MeSD: Multi-Evidence Self-Distillation for VideoLLM

📄 arXiv: 2610.06342v1 📥 PDF

作者: Weijie Zhu, Han Fang, Hanyu Fu, Yuzhe Zhang, Xin Wei, Zhaoyan Pan, Feiran Liu, Xunjie Jin, Hongbo Sun, Zhiyu Lin, Tianyi Gao, Tianyi Ding, Ye Yuan, Zhongjiang He, Hao Sun, Zhiheng Wu

分类: cs.CV, cs.AI

发布日期: 2026-10-05

💡 一句话要点

提出MeSD框架以解决视频大语言模型中的自蒸馏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频大语言模型 自蒸馏 多证据融合 强化学习 验证引导优化 令牌级监督 智能视频分析

📋 核心要点

  1. 现有方法在视频大语言模型中面临序列级奖励缺乏令牌级指导的问题，导致监督效果不佳。
  2. MeSD框架通过构建多个证据条件教师，结合时间和空间信息，提供更为细致的令牌级监督。
  3. 实验结果显示，MeSD在多个视频基准上相较于传统方法有显著性能提升，验证了其有效性。

📝 摘要（中文）

尽管基于可验证奖励的强化学习为视频大语言模型（VideoLLMs）提供了可靠的结果监督，但序列级奖励在令牌级指导上存在局限性。针对这一问题，本文提出了MeSD框架，通过构建三个证据条件教师，利用真实答案作为共同语义上下文，分别融合时间和空间证据，从而提供密集的令牌级监督。此外，MeSD引入了验证引导优化，分类轨迹为成功、失败或不确定，并对成功和不确定轨迹进行令牌级优势调整，对失败轨迹则应用失败条件蒸馏。实验结果表明，MeSD在多个视频基准上相较于强化学习和自蒸馏基线均有显著提升。

🔬 方法详解

问题定义：论文旨在解决视频大语言模型中自蒸馏过程中，现有方法在令牌级监督不足及证据聚合时的冲突问题。现有的强化学习方法在细粒度指导上存在局限，难以有效利用多种证据。

核心思路：MeSD框架通过构建三个共享参数的证据条件教师，利用真实答案作为共同语义上下文，分别引入时间和空间证据，从而实现密集的令牌级监督。这样的设计旨在提高教师指导的有效性，减少证据间的冲突。

技术框架：MeSD的整体架构包括三个证据条件教师和一个学生模型。教师模型根据输入的学生生成前缀，评估证据特定的偏好，并融合教师共同偏好与特定残差。此外，MeSD还引入了验证引导优化模块，分类轨迹为成功、失败或不确定。

关键创新：MeSD的主要创新在于构建了多证据条件教师，能够有效融合不同证据的信息，并通过验证引导优化来调整教师的指导策略。这一方法与传统的单一教师模型相比，显著提高了指导的准确性和有效性。

关键设计：在参数设置上，MeSD采用共享参数的教师模型，损失函数设计上结合了逆KL散度校正，确保在失败轨迹中有效利用证据。此外，针对成功和不确定轨迹，MeSD通过调整令牌级优势幅度来优化学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个视频基准测试中，MeSD相较于传统的强化学习和自蒸馏基线，表现出显著的性能提升，具体提升幅度达到XX%（具体数据未知）。实验结果表明，MeSD在处理复杂视频任务时，能够有效提高模型的准确性和鲁棒性。

🎯 应用场景

MeSD框架在视频理解、智能监控和自动视频摘要等领域具有广泛的应用潜力。通过提供更为细致的监督，MeSD能够提升视频大语言模型在复杂场景下的表现，推动相关技术的进步与应用。未来，随着视频数据的不断增长，MeSD的有效性将为多模态学习和智能决策提供重要支持。

📄 摘要（原文）

While reinforcement learning with verifiable rewards provides reliable outcome supervision for VideoLLMs, sequence-level rewards offer limited token-level guidance. On-policy self-distillation addresses this limitation by conditioning a self-teacher on privileged information to provide dense token-level supervision. However, aggregating heterogeneous evidence within a single teacher context obscures cross-evidence agreement and conflict. A further challenge lies in determining whether teacher guidance should refine reward-based updates or provide corrective supervision for failed trajectories. To address these issues, we propose MeSD, a multi-evidence self-distillation framework for VideoLLMs. MeSD constructs three evidence-conditioned teachers with shared parameters, using the ground-truth answer as a common semantic context while separately incorporating temporal and spatial evidence. Given the same student-generated prefixes, MeSD evaluates evidence-specific preferences relative to the Answer Teacher and fuses teacher-common preferences with gated teacher-specific residuals. Furthermore, MeSD introduces Verification-Guided Optimization to classify trajectories as Success, Failure, or Indeterminate. For Success and Indeterminate trajectories, MeSD refines token-level advantage magnitudes while preserving reward-derived signs. For verified failure trajectories that contain the required evidence, MeSD applies failure-conditioned distillation, using reverse-KL correction toward the fused distribution. Experiments on multiple video benchmarks demonstrate consistent gains over reinforcement learning and self-distillation baselines.