SPOOK: Sparse Pixel Optimization for Off-Manifold Knowledge in Vision Encoders

📄 arXiv: 2610.32835v1 📥 PDF

作者: Ankit Gupta, Akshat Pandya, Christoph Adami, Emily Dolson

分类: cs.CV, cs.CL, cs.HC

发布日期: 2026-10-23

备注: 12 pages, 3 figures, 3 tables, and 14 pages of Supplementary Material with 8 figures

💡 一句话要点

提出稀疏像素优化方法以探测视觉编码器的非流形知识

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉编码器 稀疏像素优化 非流形知识 多模态对比 自监督学习

📋 核心要点

  1. 核心问题：现有视觉编码器在处理远离自然图像流形的输入时，嵌入相似性与语义之间的关系变得模糊。
  2. 方法要点：本文提出通过稀疏像素编辑空白画布，利用简单的爬山算法来探测视觉编码器的表示几何。
  3. 实验或效果：在OpenCLIP和DINOv3上，优化后的输入在目标检索和对齐度上均表现出显著提升。

📝 摘要（中文）

现代视觉编码器广泛用于语义表示，但在远离自然图像流形时，嵌入相似性与人类可见语义之间的关系变得不明确。本文通过对空白画布进行稀疏像素编辑，采用简单的像素级爬山算法，探讨这一领域。在ImageNet和Flickr30k上，我们评估这些编辑后的空白画布能否在多模态对比编码器和自监督视觉编码器中检索所选目标。结果表明，针对类提示优化的输入在OpenCLIP上实现了强劲的目标检索性能，而在DINOv3上，针对类原型优化的输入达到了高目标对齐度和接近顶级原型排名。这些发现揭示了现代视觉编码器的共同非流形失效模式，并建议稀疏空白画布优化作为探测表示几何的简单方法。

🔬 方法详解

问题定义：本文旨在解决现代视觉编码器在非流形输入下的表现不佳问题，现有方法在处理这些输入时无法有效捕捉语义信息。

核心思路：通过对空白画布进行稀疏像素编辑，利用简单的像素级爬山算法来优化输入，从而探测视觉编码器的表示几何。该方法的设计旨在揭示编码器在非流形情况下的行为。

技术框架：整体流程包括：首先生成空白画布，然后通过稀疏像素编辑进行优化，最后在多模态对比编码器和自监督视觉编码器中进行目标检索与评估。主要模块包括像素编辑模块和目标检索模块。

关键创新：最重要的创新在于提出了稀疏像素优化方法，能够有效探测视觉编码器在非流形输入下的表现，与传统方法相比，提供了一种新的探测表示几何的手段。

关键设计：在实验中，采用了简单的爬山算法进行像素优化，设置了合适的损失函数以确保优化过程的有效性，并在OpenCLIP和DINOv3中进行了详细的性能评估。具体参数设置和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在OpenCLIP上，针对类提示优化的输入实现了强劲的目标检索性能，达到顶级的检索准确率；而在DINOv3上，优化后的输入在目标对齐度和原型排名上也表现出显著提升，验证了稀疏像素优化的有效性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、图像检索和多模态学习等。通过优化视觉编码器的表现，可以提升在复杂场景下的目标识别和检索能力，具有重要的实际价值和广泛的应用前景。未来，该方法可能为理解和改进视觉编码器的表示能力提供新的思路。

📄 摘要（原文）

Modern vision encoders are widely used as semantic representations, but the relationship between embedding similarity and human-visible semantics can become unclear far from the natural-image manifold. We probe this regime in a black-box setting by applying sparse pixel edits to blank canvases with a simple pixel-level hill-climbing procedure. Across ImageNet and Flickr30k, we evaluate whether these edited blank canvases can retrieve chosen targets in multimodal contrastive encoders and self-supervised visual encoders. On OpenCLIP, inputs optimized toward class prompts achieve strong top-1 and top-5 targeted retrieval performance; on DINOv3, inputs optimized toward class prototypes achieve high target alignment and near-top prototype ranks. These results show that sparse edits on otherwise blank, visually non-semantic inputs can enter target semantic basins in both language-aligned and self-supervised visual representation spaces. Our findings identify a shared off-manifold failure mode of modern vision encoders and suggest sparse blank-canvas optimization as a simple probe of representation geometry.