Task-Induced Riemannian Metrics for Vision Transformer Feature Spaces
作者: Andrew Bond, Ege Erdem Özlü, Tuna Çimen, Ilkin Umut Melanlioglu, Tolga Birdal, Erkut Erdem, Aykut Erdem
分类: cs.CV, cs.LG
发布日期: 2026-09-23
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
提出任务诱导的黎曼度量以优化视觉变换器特征空间
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 视觉变换器 黎曼度量 特征选择 深度估计 低秩近似 谱拉回网络 任务敏感几何
📋 核心要点
- 现有方法假设特征空间中的每个方向都同等重要，未考虑任务几何的复杂性，导致性能不足。
- 提出了一种基于任务敏感几何的拉回度量，通过雅可比矩阵的低秩近似来优化特征空间的表示。
- 在多个视觉变换器模型上，重要性头部达到了Spearman相关系数0.998，并且通过几何标记修剪显著降低了深度误差。
📝 摘要（中文）
现有的视觉变换器（ViT）特征空间方法通常依赖于欧几里得距离或余弦相似度，这种假设忽略了任务几何的复杂性。本文提出了一种基于任务敏感几何的拉回度量，通过解码器输出的雅可比矩阵来定义。由于存储完整的度量在现代规模下不可行，本文引入了一种矩阵无关的诊断方法来评估低秩近似的可学习性，并开发了谱拉回网络（SPN），从随机幂迭代中学习低秩度量。实验表明，该方法在多个基准上显著提高了特征选择的有效性。
🔬 方法详解
问题定义：本文旨在解决现有视觉变换器特征空间方法在任务几何建模上的不足，现有方法通常依赖于简单的距离度量，未能捕捉到特征空间的复杂性。
核心思路：提出了一种基于任务敏感几何的拉回度量，通过解码器输出的雅可比矩阵来定义特征空间的几何结构，并探索其低秩近似的可学习性。
技术框架：整体架构包括雅可比矩阵的计算、低秩近似的学习（通过谱拉回网络SPN），以及通过重要性头部进行特征选择。SPN通过随机幂迭代学习低秩度量，并将其提炼为一个小型网络。
关键创新：最重要的创新在于引入了矩阵无关的诊断方法κ_{cap}(r)，用于评估低秩近似的可行性，并通过SPN有效学习特征空间的几何结构。
关键设计：在设计中，使用了随机幂迭代来学习低秩度量，并通过重要性头部直接从特征中预测标记的重要性，确保了模型的高效性与可扩展性。重要性头部的参数量仅为310K。
🖼️ 关键图片
📊 实验亮点
实验结果显示，重要性头部在DINOv2 CLS任务上达到了Spearman相关系数0.998，表明其在特征选择中的高效性。此外，几何标记修剪在DPT深度估计中将ToMe基础的标记选择的额外深度误差降低了25%，且未对ViT进行微调。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的特征选择、图像分割和深度估计等任务。通过优化特征空间的几何结构，能够提升模型在复杂视觉任务中的表现，具有重要的实际价值和广泛的应用前景。
📄 摘要（原文）
Methods operating on Vision Transformer (ViT) feature spaces typically rely on Euclidean distance or cosine similarity. This assumes that every direction is equally meaningful, but there is no reason to believe the true task geometry has this property. The task-sensitive geometry of the feature space is given by the pullback metric $g(F) = J(F)^\top J(F)$, where $J$ is the Jacobian of the decoder's output fed to a task-specific distance, with respect to the features. Storing the full $g$ is infeasible at modern scales, and for dense outputs such as depth maps even forming $J$ is impractical. We show that whether a low-rank approximation of this metric can be learned depends on the model-decoder pair, and we characterize this with a matrix-free diagnostic $κ_{cap}(r)$ computable with a low number of Jacobian-vector products. For tractable pairs, we develop the Spectral Pullback Network (SPN), which learns a low-rank version of the metric from randomized power iteration, and we distill it into a $310$K-parameter importance head that predicts token importance directly from the features. When the Jacobian spectrum is too spread out for a low-rank approximation, passing the decoder's input features through a VAE bottleneck can restore tractability. Across DPT, DINOv2, CLIP, and VGGT backbones, $κ_{cap}(r)$ predicts which learned-metric architectures are viable. The importance head reaches Spearman $ρ= 0.998$ on DINOv2 CLS, and our geometric token pruning reduces the additional depth error of ToMe-based token selection by $25\%$ on DPT depth at prune ratio $0.5$, without fine-tuning the ViT. Project page: https://cyberiada.github.io/TaskInducedViTs/