FeatSharp: Your Vision Model Features, Sharper

📄 arXiv: 2502.16025v2 📥 PDF

作者: Mike Ranzinger, Greg Heinrich, Pavlo Molchanov, Jan Kautz, Bryan Catanzaro, Andrew Tao

分类: cs.CV

发布日期: 2025-02-22 (更新: 2025-07-02)

备注: ICML 2025 Version

🔗 代码/项目: GITHUB

💡 一句话要点

FeatSharp：提升视觉模型特征分辨率，增强视觉任务性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 特征上采样 视觉Transformer 低分辨率图像 模型蒸馏 计算机视觉 深度学习 特征增强

📋 核心要点

  1. 现有ViT模型，特别是CLIP，分辨率低且不灵活，限制了其在下游任务中的性能。
  2. FeatSharp旨在以低成本连贯地对低分辨率特征图进行上采样，恢复丢失的细节信息。
  3. 实验表明，FeatSharp在核心感知任务和模型蒸馏中均表现出有效性，提升了模型性能。

📝 摘要（中文）

视觉编码器的特征图对于现代人工智能任务至关重要，涵盖了核心感知算法（如语义分割、目标检测、深度感知等）以及视觉语言模型（VLMs）中的多模态理解。目前，通用视觉骨干网络的前沿是 Vision Transformer (ViT)，通常使用对比损失（如 CLIP）进行训练。然而，大多数现成的ViT，特别是CLIP，的一个关键问题是它们的分辨率较低且不灵活。大多数模型运行在 224x224 像素下，而“高分辨率”版本约为 378-448 像素，但仍然不灵活。本文提出了一种新颖的方法，可以连贯且廉价地对低分辨率视觉编码器的特征图进行上采样，同时提取由于分辨率限制而丢失的细粒度细节。我们在核心感知任务以及使用 RADIO 进行聚集模型训练中证明了该方法的有效性，RADIO 作为一种为蒸馏提供更丰富目标的方式。

🔬 方法详解

问题定义：现有视觉Transformer模型，特别是CLIP，通常以较低的分辨率（如224x224）运行，即使是“高分辨率”版本也存在分辨率不足且不灵活的问题。这导致模型无法捕捉到图像中的细粒度细节，从而限制了其在需要高分辨率特征的任务（如语义分割、目标检测等）中的性能。现有方法通常需要重新训练高分辨率模型，计算成本高昂。

核心思路：FeatSharp的核心思路是在不重新训练整个模型的前提下，通过一种高效的上采样方法，提升低分辨率视觉编码器输出的特征图的分辨率。该方法旨在恢复由于低分辨率而丢失的细粒度细节，从而增强模型在下游任务中的表现。这种方法的关键在于保持上采样后特征图的连贯性，避免引入伪影或噪声。

技术框架：FeatSharp的具体框架未知，但可以推断其包含以下几个关键阶段：1) 从低分辨率ViT模型中提取特征图；2) 使用提出的上采样方法对特征图进行分辨率提升；3) 将上采样后的高分辨率特征图应用于下游任务，如语义分割、目标检测或模型蒸馏。RADIO可能被用作蒸馏过程中的目标，以提供更丰富的监督信息。

关键创新：FeatSharp的关键创新在于提出了一种连贯且廉价的特征图上采样方法，能够在不重新训练整个模型的情况下，有效提升低分辨率视觉编码器的性能。这种方法能够恢复由于分辨率限制而丢失的细粒度细节，从而增强模型在下游任务中的表现。与现有方法相比，FeatSharp具有更高的效率和灵活性。

关键设计：论文中没有明确给出上采样方法的具体技术细节，例如具体的网络结构、损失函数或参数设置。但是，可以推断其设计目标是：1) 保持上采样后特征图的连贯性，避免引入伪影或噪声；2) 尽可能地恢复由于低分辨率而丢失的细粒度细节；3) 具有较低的计算成本，以便能够高效地应用于大规模数据集。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验证明了FeatSharp在核心感知任务以及使用RADIO进行聚集模型训练中的有效性。具体性能数据和对比基线未知，但结果表明FeatSharp能够显著提升低分辨率视觉编码器的性能，使其能够更好地捕捉图像中的细粒度细节，从而在下游任务中取得更好的表现。

🎯 应用场景

FeatSharp具有广泛的应用前景，可用于提升各种基于视觉Transformer的模型的性能，尤其是在需要高分辨率特征的下游任务中，如语义分割、目标检测、深度估计等。此外，FeatSharp还可以应用于视觉语言模型（VLMs）中，提升模型对图像细节的理解能力。该方法有望推动计算机视觉和多模态理解领域的发展。

📄 摘要（原文）

The feature maps of vision encoders are fundamental to myriad modern AI tasks, ranging from core perception algorithms (e.g. semantic segmentation, object detection, depth perception, etc.) to modern multimodal understanding in vision-language models (VLMs). Currently, in computer vision, the frontier of general purpose vision backbones is Vision Transformers (ViT), typically trained using contrastive loss (e.g. CLIP). A key problem with most off-the-shelf ViTs, particularly CLIP, is that these models are inflexibly low resolution. Most run at $224 \times 224$px, while the "high-resolution" versions are around $378-448$px, but still inflexible. We introduce a novel method to coherently and cheaply upsample the feature maps of low-resolution vision encoders while picking up on fine-grained details that would otherwise be lost due to resolution. We demonstrate the effectiveness of this approach on core perception tasks as well as within agglomerative model training using RADIO as a way of providing richer targets for distillation. Code available at https://github.com/NVlabs/FeatSharp .