Evidence-Aligned Multimodal On-Policy Self-Distillation for Fine-Grained Visual Understanding

📄 arXiv: 2609.34672v1 📥 PDF

作者: Nanxing Hu, Qiwei Yan, Jinchao Zhang, Guoliang Kang

分类: cs.CV, cs.AI

发布日期: 2026-09-28

💡 一句话要点

提出证据对齐的多模态在线自蒸馏以解决细粒度视觉理解问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细粒度视觉理解 多模态学习 自蒸馏 教师-学生模型 视觉证据 深度学习 图像处理

📋 核心要点

  1. 现有的多模态在线自蒸馏方法在细粒度视觉理解中面临教师模型与学生模型之间的状态差距和上下文丢失等挑战。
  2. 本文提出的证据对齐多模态在线自蒸馏（EAD）通过构建独立的证据参考来加权教师修正，从而提高了模型的稳定性和准确性。
  3. 实验结果表明，EAD在保持较少监督量的情况下，始终优于现有的最先进方法，显示出显著的性能提升。

📝 摘要（中文）

细粒度视觉理解要求模型识别复杂图像中的细小细节。多模态在线自蒸馏（OPSD）通过使用基于证据中心裁剪的教师模型来监督基于原始图像的学生模型，从而应对这一挑战。然而，教师模型的设计虽然有效，却引入了其他干扰。本文提出的证据对齐多模态在线自蒸馏（EAD）保留了裁剪条件的教师作为目标，同时构建了一个独立的证据参考来加权修正。EAD通过当前学生的预测变化来排除滞后模型状态的影响，并在原始图像中掩蔽证据区域以保留其他视觉上下文。EAD在保持仅6%的密集OPSD监督量的情况下，始终优于之前的最先进方法。

🔬 方法详解

问题定义：本文旨在解决细粒度视觉理解中的教师模型与学生模型之间的状态差距和上下文丢失问题。现有的多模态在线自蒸馏方法虽然有效，但在教师修正的可靠性上存在不足。

核心思路：EAD的核心思路是保留裁剪条件的教师作为目标，同时构建一个独立的证据参考来加权教师的修正，以确保修正更依赖于任务相关的视觉证据。

技术框架：EAD的整体架构包括教师模型和学生模型两个主要模块。教师模型基于证据中心裁剪生成修正，而学生模型则基于原始图像进行预测。EAD通过当前学生的预测变化来排除滞后状态的影响，并在原始图像中掩蔽证据区域。

关键创新：EAD的主要创新在于构建了独立的证据参考来加权教师修正，从而有效减少了滞后模型状态和裁剪引起的上下文变化对修正的影响。这一设计使得教师修正更具针对性和有效性。

关键设计：EAD在参数设置上仅保留6%的密集OPSD监督量，使用余弦相似度来加权教师修正，确保保留对齐的修正并降低其他修正的权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，EAD在保持仅6%的监督量的情况下，始终优于之前的最先进方法，展现出显著的性能提升。具体而言，EAD在多个细粒度视觉理解任务上均取得了更高的准确率，验证了其有效性和优越性。

🎯 应用场景

该研究在细粒度视觉理解领域具有广泛的应用潜力，尤其是在图像分类、目标检测和图像检索等任务中。通过提高模型对细节的识别能力，EAD可以在自动驾驶、医疗影像分析和安防监控等实际场景中发挥重要作用，推动相关技术的发展。

📄 摘要（原文）

Fine-grained visual understanding requires models to recognize small details within complex images. Multimodal on-policy self-distillation (OPSD) addresses this challenge by using a teacher conditioned on evidence-centered crops to supervise a student conditioned on original images along student-generated trajectories. Ideally, teacher corrections, the distributional changes from the student toward the privileged teacher, should be driven by task-relevant visual evidence. However, the designs that make the teacher effective also introduce other interference. Using a lagged or frozen teacher improves training stability but introduces a model-state gap from the evolving student, while cropping enhances task-relevant evidence but also loses the visual context. These two sources of interference make the teacher corrections not purely rely on the visual evidence. We introduce Evidence-Aligned multimodal on-policy self-Distillation (EAD), which retains the crop-conditioned teacher as the target but constructs a separate evidence reference for weighting the corrections. To exclude the effect of lagged model-state from this reference, EAD measures prediction changes using the current student. To avoid crop-induced context changes, EAD masks the evidence region in the original image while preserving the other visual context. The change from the student's masked-image prediction to its original-image prediction provides a controlled reference for the direction in which the visual evidence shifts the student's prediction. EAD weights each teacher correction by its cosine alignment with the reference, i.e., retaining aligned corrections and downweighting the rest. Retaining only 6\% of the supervision mass of dense OPSD, EAD consistently outperforms previous state-of-the-art methods.