IoUPD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

📄 arXiv: 2607.15732 📥 PDF

作者: Xiuyuan Zhu, Ke Lu, Hao Wu, Zijin Du, Dongming Zhang, Jian Xue

分类: cs.CV

发布日期: 2026-07-20

💡 一句话要点

提出IoUPD以解决视觉定位中的训练与评估不匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉定位 多模态大语言模型 蒸馏训练 几何重叠 特权指导

📋 核心要点

  1. 现有的视觉定位方法在训练时优化的是坐标字符串的token级别似然，而评估则依赖几何重叠，导致训练与评估之间的不匹配。
  2. IoUPD通过引入真实边界框作为特权指导，改进了坐标生成模型的训练过程，使得模型能够更好地理解几何信息。
  3. 在标准的引用表达定位基准上，IoUPD展示了相较于强基线模型的一致性区域级别提升，验证了其有效性。

📝 摘要（中文）

视觉定位与多模态大语言模型的结合通常采用自回归坐标生成的方式，然而这种方法在训练和评估之间存在不匹配。本文提出了IoUPD，一种IoU感知的特权蒸馏方法，利用真实边界框作为坐标目标和训练指导。通过这种方式，学生模型在训练时接收原始图像和提示，而教师模型则使用标记图像和增强提示。实验结果表明，IoUPD在标准的引用表达定位基准上相较于强基线模型有显著提升，证明了真实边界框在训练中的有效性。

🔬 方法详解

问题定义：本文旨在解决视觉定位中训练与评估之间的匹配问题。现有方法在训练时关注token级别的似然性，而在评估时则依赖几何重叠，导致效果不佳。

核心思路：IoUPD的核心思路是利用真实边界框作为特权指导，不仅作为坐标目标，还在训练过程中为学生模型提供额外的几何信息，从而提升模型的定位能力。

技术框架：该方法包括两个主要模块：教师模型和学生模型。教师模型在训练时保持冻结，接收标记图像和增强提示，而学生模型则接收原始图像和提示，通过特权蒸馏损失进行训练。

关键创新：IoUPD的创新在于引入了IoU感知的特权蒸馏损失，使得模型在训练时能够更好地反映几何重要性和教师模型的可靠性，显著提升了定位效果。

关键设计：在损失函数设计上，IoUPD结合了监督微调锚点和特权蒸馏损失，损失的token权重根据几何重要性和教师模型的可靠性进行调整，确保模型能够有效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在标准的引用表达定位基准上，IoUPD相较于强基线模型展示了显著的区域级别提升，具体提升幅度达到X%（具体数据待补充），验证了真实边界框作为特权指导的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、机器人导航以及人机交互等场景，能够提升机器对自然语言指令的理解和执行能力。未来，IoUPD有望在更多视觉理解任务中发挥重要作用，推动多模态模型的进一步发展。

📄 摘要（原文）

Visual grounding with multimodal large language models is commonly formulated as autoregressive coordinate generation, where a model outputs bounding-box coordinates as text given an image and a referring-expression prompt. While this interface is simple and compatible with instruction following, it introduces a mismatch between training and evaluation: training optimizes token-level likelihood over coordinate strings, whereas grounding quality is measured by geometric overlap. We propose IoUPD, an IoU-aware privileged distillation method for coordinate-generating multimodal large language models. IoUPD uses ground-truth boxes not only as coordinate targets, but also as privileged training-time guidance. During training, the student receives the original image and prompt, while a frozen teacher receives a box-marked image and an augmented prompt that indicates the marked region. The student is trained with a supervised fine-tuning anchor and a privileged distillation loss whose token weights reflect both geometric importance and teacher reliability. At inference time, IoUPD requires no box overlay, privileged hint, teacher branch, or additional prediction module. Experiments on standard referring-expression grounding benchmarks show consistent region-level improvements over strong coordinate-generating baselines, demonstrating that ground-truth boxes can provide useful privileged guidance beyond serving as coordinate labels.