On-Policy Visual Evidence Distillation
作者: Shaohang Wei, Feifan Song, Guangyue Peng, Wenhao Yu, Wei Li, Wen Luo, Yang Xu, Yufan Shen, Luke Mao, Yang Du, Asher Qin, Houfeng Wang
分类: cs.CV, cs.AI, cs.CL
发布日期: 2026-09-29
备注: 44 pages, including appendices. Project page: https://sylvain-wei.github.io/ReVuE/ . Code: https://github.com/sylvain-wei/ReVuE
🔗 代码/项目: GITHUB
💡 一句话要点
提出ReVuE以解决视觉代理中的证据蒸馏问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉代理 在政策蒸馏 证据提取 错误诊断 多模态学习 智能系统 推理能力 自动化技术
📋 核心要点
- 现有的多模态在政策蒸馏方法未能有效建模学生行为与观察结果之间的关系，导致错误传播。
- ReVuE通过比较多个学生生成的轨迹，诊断Acquire、Read和Ground阶段的首次失败，从而提供针对性的蒸馏监督。
- 在11个基准测试中，ReVuE在感知、数学推理和一般任务的加权平均分上超越了所有评估的OPD基线。
📝 摘要（中文）
视觉代理通过将推理与图像操作交替进行来解决问题，而现有的在政策蒸馏（OPD）方法在处理学生生成的交互轨迹时存在局限。由于图像操作会改变后续推理所依据的证据，局部错误可能会在Acquire、Read和Ground阶段传播，导致错误答案。本文提出了Reflection on Visual Evidence（ReVuE），通过比较多个学生生成的轨迹，诊断错误并为教师提供训练时的上下文，从而实现更有针对性的蒸馏监督。实验表明，ReVuE在多个基准测试中超越了所有评估的OPD基线，显著提高了感知、数学推理和一般任务的表现。
🔬 方法详解
问题定义：本论文旨在解决现有在政策蒸馏方法在视觉代理中因局部错误传播导致的错误答案问题。现有方法主要通过构建辅助视图来增强监督，但未能有效建模学生行为与观察结果之间的关系，限制了其针对不同失败阶段的纠正能力。
核心思路：ReVuE的核心思路是通过比较多个学生生成的轨迹，提取和总结观察到的视觉证据，并诊断在Acquire、Read和Ground阶段的首次失败。这种设计使得教师能够在训练时获得上下文信息，从而提供更有针对性的指导。
技术框架：ReVuE的整体架构包括三个主要模块：轨迹比较模块、证据总结模块和失败诊断模块。轨迹比较模块负责分析不同学生生成的轨迹，证据总结模块提取有效的视觉证据，而失败诊断模块则识别错误发生的具体阶段。
关键创新：ReVuE的主要创新在于将轨迹级证据诊断转化为针对性的token级监督，显著提高了学生在视觉证据获取和推理方面的能力。这一方法与现有方法的本质区别在于其强调了学生行为与观察结果之间的直接联系。
关键设计：在损失函数设计上，ReVuE根据反思对教师预测的影响程度对token级蒸馏损失进行分组和重加权。此外，网络结构采用了多层次的比较机制，以增强对不同阶段错误的识别和纠正能力。
🖼️ 关键图片
📊 实验亮点
在11个基准测试中，ReVuE在感知、数学推理和一般任务的加权平均分上超越了所有评估的OPD基线，表现出显著的性能提升。同时，ReVuE还减少了推理和工具调用的冗余，提高了工具调用的准确性和任务的整体准确性。
🎯 应用场景
该研究的潜在应用领域包括智能视觉系统、机器人导航和人机交互等。通过提高视觉代理在复杂任务中的推理和决策能力，ReVuE有助于实现更智能的自动化系统，推动相关技术在实际应用中的发展与普及。
📄 摘要（原文）
Visual agents solve problems by interleaving reasoning with image operations, and on-policy distillation (OPD) provides guidance from a strong teacher on student-generated interaction trajectories. However, image operations change the evidence available for subsequent reasoning, so local errors in evidence acquisition (Acquire), reading (Read), or answer grounding (Ground) can propagate through the trajectory and lead to incorrect answers. Existing multimodal OPD methods primarily construct or contrast auxiliary views of the original image to strengthen supervision, without explicitly modeling the connections between student actions, resulting observations, and subsequent reasoning. This limits their ability to provide corrections tailored to different failure stages. We introduce Reflection on Visual Evidence (ReVuE), an on-policy distillation method for visual agents. ReVuE compares multiple student-generated trajectories for the same query, summarizes the observed visual evidence, and diagnoses the first failure across the Acquire, Read, and Ground stages. The resulting reflections provide training-time context for the teacher. We group and reweight token-level distillation losses according to how strongly these reflections affect the teacher's predictions. This design translates trajectory-level evidence diagnosis into targeted token-level supervision, guiding students to improve their visual evidence acquisition and reasoning. Across 11 benchmarks spanning the Qwen2.5-VL and InternVL3.5 model families, ReVuE outperforms all evaluated OPD baselines in weighted-average scores for perception, mathematical reasoning, and general tasks. ReVuE also reduces redundancy in reasoning and tool calls while improving tool-call accuracy and task accuracy. Code is available at https://github.com/sylvain-wei/ReVuE