Taking Shortcuts for Categorical VQA Using Super Neurons
作者: Pierre Musacchio, Jaeyi Jeong, Dahun Kim, Jaesik Park
分类: cs.CV, cs.AI, cs.LG
发布日期: 2026-03-11
备注: 25 pages, 15 tables, 8 figures
💡 一句话要点
利用超神经元，加速分类视觉问答任务
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉问答 超神经元 模型加速 免训练 稀疏注意力 视觉语言模型 早期退出
📋 核心要点
- 现有视觉问答模型依赖微调或低秩适应，计算成本高昂，且模型复杂度较高。
- 论文提出利用“超神经元”的概念，直接探测VLM的原始激活值，寻找更具区分性的神经元。
- 实验表明，该方法在提高分类性能的同时，实现了高达5.10倍的加速，具有显著的效率优势。
📝 摘要（中文）
稀疏注意力向量（SAVs）已成为一种优秀的免训练替代方案，可以改进视觉语言模型（VLMs）的性能，而无需监督微调或低秩适应。SAVs的核心思想是为感兴趣的任务选择一些准确的注意力头，并将它们用作分类器，而不是依赖模型的预测。与此类似，我们发现直接探测VLM的原始激活值（以标量值的形式）足以在各种视觉下游任务上产生准确的分类器。将焦点从注意力向量转移到标量激活值，极大地增加了寻找准确参数的搜索空间，使我们能够立即从第一个生成的token中找到更具区分性的神经元。我们将这些激活值称为超神经元（SNs）。在这种探测设置中，我们发现足够多的SNs出现在大型语言模型的较浅层中，从而允许从模型第一层的第一个生成的token中实现极早退出。与原始网络相比，SNs稳健地提高了分类性能，同时实现了高达5.10倍的加速。
🔬 方法详解
问题定义：现有视觉问答（VQA）模型通常需要针对特定任务进行微调或使用低秩适应等技术，这增加了计算成本和模型复杂度。这些方法依赖于模型的完整预测流程，可能存在冗余计算。因此，如何高效地利用预训练的视觉语言模型（VLM）进行分类VQA任务，同时降低计算成本，是一个重要的研究问题。
核心思路：论文的核心思路是，并非所有神经元都对特定任务同等重要。通过直接探测VLM的原始激活值，可以找到一些“超神经元”（SNs），这些神经元对特定任务具有高度的区分性。利用这些SNs的激活值作为分类器的输入，可以绕过模型的完整预测流程，从而实现加速和性能提升。
技术框架：该方法主要包含以下几个阶段：1) 数据准备：准备用于探测和评估的VQA数据集。2) 激活值提取：对于每个输入样本，提取VLM在特定层（尤其是浅层）的神经元激活值。3) 超神经元选择：通过某种选择策略（例如，基于激活值的区分度或相关性），选择一组超神经元。4) 分类器训练：使用选定的超神经元的激活值训练一个简单的分类器（例如，线性分类器）。5) 评估：在测试集上评估分类器的性能。
关键创新：最重要的技术创新点在于发现了“超神经元”现象，即VLM中存在一些神经元，其激活值对特定任务具有高度的区分性。与传统的注意力机制或模型微调方法不同，该方法直接利用原始激活值，避免了复杂的计算和参数调整。此外，该方法还探索了极早退出的可能性，即在模型的浅层即可获得足够的分类信息。
关键设计：关键设计包括：1) 超神经元的选择策略：如何有效地选择对特定任务具有区分性的神经元。2) 分类器的选择：选择合适的分类器（例如，线性分类器、支持向量机等），以利用超神经元的激活值进行分类。3) 激活值提取的位置：确定从VLM的哪些层提取激活值，以获得最佳的性能和效率。
🖼️ 关键图片
📊 实验亮点
实验结果表明，利用超神经元可以在分类VQA任务上实现显著的性能提升和加速。与原始网络相比，该方法在保持或提高分类性能的同时，实现了高达5.10倍的加速。这表明该方法具有很高的效率和实用价值。
🎯 应用场景
该研究成果可应用于各种视觉问答场景，尤其是在资源受限的环境中，例如移动设备或边缘计算平台。通过利用超神经元，可以显著降低计算成本，提高VQA系统的响应速度。此外，该方法还可以扩展到其他视觉语言任务，例如图像描述和视觉推理。
📄 摘要（原文）
Sparse Attention Vectors (SAVs) have emerged as an excellent training-free alternative to supervised finetuning or low-rank adaptation to improve the performance of Vision Language Models (VLMs). At their heart, SAVs select a few accurate attention heads for a task of interest and use them as classifiers, rather than relying on the model's prediction. In a similar spirit, we find that directly probing the raw activations of the VLM, in the form of scalar values, is sufficient to yield accurate classifiers on diverse visually grounded downstream tasks. Shifting focus from attention vectors to scalar activations dramatically increases the search space for accurate parameters, allowing us to find more discriminative neurons immediately from the first generated token. We call such activations Super Neurons (SNs). In this probing setting, we discover that enough SNs appear in the shallower layers of the large language model to allow for extreme early exiting from the first layer of the model at the first generated token. Compared to the original network, SNs robustly improve the classification performance while achieving a speedup of up to 5.10x.