Learning Fine-Grained Visual Classification with Text as Privileged Information via Multimodal Distillation

📄 arXiv: 2610.32442v1 📥 PDF

作者: Aishwarya Venkataramanan, Christian Ickler, Joachim Denzler

分类: cs.CV

发布日期: 2026-10-23

备注: 16 pages

💡 一句话要点

提出FG-LUPI框架以利用文本信息提升细粒度视觉分类

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 细粒度视觉分类 多模态学习 知识蒸馏 文本属性 图像识别 模型校准

📋 核心要点

  1. 现有的细粒度视觉分类方法在测试时无法利用文本属性描述，限制了其性能提升。
  2. 本文提出FG-LUPI框架，通过门控交叉注意力将图像和文本属性结合，进行多层次知识蒸馏。
  3. 实验结果显示，FG-LUPI在多个基准上超越了强大的ViT基线，并且在模型置信度校准方面表现优异。

📝 摘要（中文）

细粒度视觉分类（FGVC）需要通过关注微小的局部视觉差异来区分高度相似的类别。近期的多模态方法表明，文本属性描述可以通过明确描述物体特征提供有价值的语义监督。然而，这些描述在测试时通常不可用，限制了其直接应用。本文提出FG-LUPI框架，利用训练中的属性描述，通过门控交叉注意力整合图像补丁和文本属性，条件化视觉表示。我们将知识蒸馏到仅使用图像的学生模型中，采用多层次蒸馏方法，促进学生继承来自多模态监督的注意力结构，同时保持图像推理的高效性。实验结果表明，FG-LUPI在多个FGVC基准上显著提高了分类准确性，并且在期望校准误差（ECE）评估中表现出更好的校准能力。

🔬 方法详解

问题定义：本文旨在解决细粒度视觉分类中的信息不足问题，现有方法在测试阶段无法利用文本属性描述，导致分类性能受限。

核心思路：FG-LUPI框架通过在训练阶段利用文本属性描述，结合图像补丁和文本信息，增强视觉表示的语义信息，从而提升分类性能。

技术框架：FG-LUPI框架包括一个多模态教师模型和一个仅使用图像的学生模型。教师模型通过门控交叉注意力机制整合图像和文本信息，学生模型则通过多层次蒸馏学习教师的知识。

关键创新：最重要的创新在于引入了多层次蒸馏机制，分别在预测、补丁和注意力层面进行知识传递，使学生模型能够继承教师模型的注意力结构，同时保持图像推理的高效性。

关键设计：在模型设计中，采用了门控交叉注意力机制来有效整合多模态信息，并通过精心设计的损失函数来优化学生模型的学习过程，确保其在仅使用图像的情况下也能获得良好的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，FG-LUPI在多个FGVC基准上显著提高了分类准确性，相较于强大的ViT基线，分类准确率提升幅度达到了X%。此外，FG-LUPI在期望校准误差（ECE）评估中也表现出更好的校准能力，显示出其在模型置信度方面的优势。

🎯 应用场景

该研究的潜在应用领域包括图像识别、自动标注和智能监控等场景，尤其是在需要高精度分类的任务中。通过结合文本信息，模型不仅能提高识别准确性，还能增强模型对置信度的可靠性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Fine-grained visual classification (FGVC) requires distinguishing between highly similar categories by focusing on subtle, localized visual differences. Recent multimodal methods have demonstrated that textual attribute descriptions can provide valuable semantic supervision by explicitly describing discriminative object characteristics. However, these descriptions are typically unavailable at test time, limiting their direct use in deployment. We propose FG-LUPI, a Learning Using Privileged Information (LUPI)-based framework that leverages attribute descriptions during training. We train a multimodal teacher that integrates image patches and textual attributes via gated cross-attention, allowing semantic attributes to condition visual representations. We distill this knowledge into an image-only student using multi-level distillation at the prediction, patch, and attention levels, aligning global predictions, patch representations, and attention patterns with the teacher. This encourages the student to inherit attention structure learned from multimodal supervision while maintaining image-only inference. Experiments on multiple FGVC benchmarks show consistent improvements in classification accuracy over strong ViT-based baselines. Furthermore, evaluation using Expected Calibration Error (ECE) shows that FG-LUPI also produces better-calibrated predictions across all six benchmarks. These results suggest that textual attribute supervision can benefit not only fine-grained recognition performance but also the reliability of model confidence, while preserving the efficiency and practicality of image-only inference.