Distill the Visual Evidence, Not Just the Answer: Cross-World On-Policy Distillation for Vision-Language Models
作者: Yuanhao Sun, Huawei Ji, Jiaxin Ding, Luoyi Fu, Xinbing Wang
分类: cs.CV
发布日期: 2026-09-30
🔗 代码/项目: GITHUB
💡 一句话要点
提出CW-OPD以解决视觉证据依赖不足的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视觉语言模型 蒸馏训练 多模态学习 视觉证据 模型评估 深度学习 智能问答
📋 核心要点
- 现有的视觉语言模型蒸馏方法主要关注学生输出的匹配，忽视了视觉理解的显性监督。
- 提出的CW-OPD方法通过构建两个视觉世界，明确监督学生对视觉证据变化的响应，确保学生理解答案背后的视觉信息。
- 实验结果表明，CW-OPD在多个基准测试中表现优异，显著提升了模型的性能和视觉证据的依赖性。
📝 摘要（中文）
视觉语言模型（VLM）蒸馏的核心目标是转移教师的语言能力和视觉理解。然而，现有方法主要监督学生的输出，导致视觉理解隐含。我们的分析表明，学生可以在不依赖相同视觉证据的情况下匹配教师的答案。为此，我们提出了跨世界在线蒸馏（CW-OPD），明确监督学生对视觉证据变化的响应。CW-OPD为每个示例构建两个视觉世界，分享问题和场景上下文，但在关键证据上有所不同，从而产生不同的答案。通过这种方式，CW-OPD使得对相关视觉证据的依赖成为明确的蒸馏目标，而不是输出匹配的隐含结果。我们还引入CWBench来诊断模型是否真正基于视觉证据给出答案。实验结果显示，CW-OPD在Qwen3.5-4B上平均超越最强基线1.2分，4B学生在CWBench上超越DeepSeek-V4.1（552B）22.4分。
🔬 方法详解
问题定义：现有的视觉语言模型蒸馏方法未能有效地监督学生对视觉证据的理解，导致学生可能在没有正确视觉依据的情况下给出正确答案。
核心思路：CW-OPD通过构建两个共享问题和场景上下文但在关键证据上不同的视觉世界，明确监督学生对视觉信息的响应，从而确保学生理解答案的依据。
技术框架：CW-OPD的整体架构包括两个主要阶段：首先，构建两个视觉世界；其次，在这两个世界中进行在线蒸馏，提取教师的跨世界信念转移。
关键创新：CW-OPD的创新在于将对视觉证据的依赖作为明确的蒸馏目标，而非仅仅依赖输出匹配，这一设计使得学生能够更好地理解和利用视觉信息。
关键设计：在损失函数设计上，CW-OPD引入了跨世界信念转移的监督信号，该信号对两个世界共享的错误不敏感，从而提供了更为有效的纠正信号。
🖼️ 关键图片
📊 实验亮点
实验结果显示，CW-OPD在Qwen3.5-4B模型上平均超越最强基线1.2分，且4B学生在CWBench上超越DeepSeek-V4.1（552B）22.4分，展现出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括智能问答系统、图像描述生成和多模态检索等。通过增强模型对视觉证据的理解，CW-OPD可以提升这些应用的准确性和可靠性，未来可能在自动驾驶、医疗影像分析等领域产生深远影响。
📄 摘要（原文）
A central goal of vision-language model (VLM) distillation is to transfer both the teacher's language capabilities and its visual understanding. However, existing methods primarily supervise the student's output, leaving visual understanding implicit. Our analysis reveals that a student can match the teacher's answer without relying on the same visual evidence, raising the question: how can we ensure the student responds to the visual information that actually determines the answer? To this end, we propose \textbf{Cross-World On-Policy Distillation (CW-OPD)}, which explicitly supervises the student's response to changes in visual evidence. For each example, CW-OPD constructs two visual worlds that share the question and scene context but differ in answer-critical evidence, yielding different answers. We perform on-policy distillation in both worlds and distill the teacher's cross-world belief transition, encouraging the student to match not only \emph{what} the teacher predicts but also \emph{why} its prediction changes with the evidence. A gradient analysis shows that this term is invariant to errors shared by both worlds and supplies a corrective signal invisible to endpoint matching alone. In this way, CW-OPD makes reliance on the relevant visual evidence an explicit distillation target rather than an implicit consequence of output matching. To diagnose whether a model truly grounds its answers in visual evidence, we introduce CWBench, which measures cross-world consistency via Cross-World Pair Accuracy (CWPA). Experiments on Qwen3.5-4B show that CW-OPD outperforms the strongest baseline by \textbf{1.2} points on average, and the 4B student exceeds DeepSeek-V4.1 (552B) by \textbf{22.4} CWPA points on CWBench. Code is released in https://github.com/baokou-fw2/CWAD.