SATA: Spatial Autocorrelation Token Analysis for Enhancing the Robustness of Vision Transformers

📄 arXiv: 2409.19850v1 📥 PDF

作者: Nick Nikzad, Yi Liao, Yongsheng Gao, Jun Zhou

分类: cs.CV, cs.LG

发布日期: 2024-09-30

💡 一句话要点

提出SATA：利用空间自相关性提升Vision Transformer的鲁棒性

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: Vision Transformer 鲁棒性 空间自相关性 图像分类 无训练 预训练模型 Token分析

📋 核心要点

  1. 现有ViT鲁棒性提升方法依赖大量训练和微调，成本高昂，效果有限。
  2. SATA利用token空间自相关性，无需额外训练即可提升ViT的表征能力和鲁棒性。
  3. SATA在ImageNet-1K和多个鲁棒性基准测试中均取得SOTA结果，且无需微调。

📝 摘要（中文）

近年来，Vision Transformer (ViT) 在各种视觉识别任务中表现出色。然而，增强其鲁棒性的尝试收效甚微，主要集中在不同的训练策略、输入patch增强或网络结构增强上。这些方法通常需要大量的训练和微调，耗时且资源密集。为了解决这些障碍，我们提出了一种名为空间自相关Token分析 (SATA) 的新方法。通过利用token特征之间的空间关系，SATA增强了ViT模型的表征能力和鲁棒性。这是通过在token输入到自注意力机制的前馈网络 (FFN) 块之前，根据其空间自相关性得分对token进行分析和分组来实现的。重要的是，SATA可以无缝集成到现有的预训练ViT基线中，无需重新训练或额外的微调，同时通过减少FFN单元的计算负载来提高效率。实验结果表明，使用SATA增强的基线ViT不仅在ImageNet-1K图像分类上实现了新的state-of-the-art top-1 准确率 (94.9%)，而且在多个鲁棒性基准测试中也建立了新的state-of-the-art性能，包括ImageNet-A (top-1=63.6%)、ImageNet-R (top-1=79.2%) 和 ImageNet-C (mCE=13.6%)，所有这些都不需要对基线模型进行额外的训练或微调。

🔬 方法详解

问题定义：现有提升ViT模型鲁棒性的方法，如数据增强、结构调整等，通常需要大量的训练和微调，计算成本高昂，且泛化能力可能受限。论文旨在解决如何在不进行额外训练或微调的情况下，提升ViT模型的鲁棒性。

核心思路：论文的核心思路是利用图像token之间的空间自相关性。作者认为，相邻的token往往具有相似的特征，通过分析和利用这种空间关系，可以增强模型对噪声和扰动的抵抗能力，从而提升鲁棒性。这种方法避免了复杂的训练过程，可以直接应用于预训练的ViT模型。

技术框架：SATA方法主要包含以下几个步骤：1. 计算空间自相关性：对于每个token，计算其与周围token之间的空间自相关性得分。2. token分组：根据空间自相关性得分，将token分成不同的组。3. FFN处理：将分组后的token输入到FFN中进行处理。由于token被分组，FFN的计算量可以减少，从而提高效率。整个SATA模块可以插入到ViT模型的自注意力机制的FFN块之前。

关键创新：SATA的关键创新在于利用了token之间的空间自相关性来提升ViT的鲁棒性。与现有方法不同，SATA不需要额外的训练或微调，可以直接应用于预训练的ViT模型。此外，SATA通过token分组减少了FFN的计算量，提高了效率。

关键设计：空间自相关性得分的计算方式未知，论文中可能使用了某种形式的卷积或相关性操作。token分组的具体算法也未知，可能使用了聚类或阈值分割等方法。FFN的结构与原始ViT模型保持一致，但输入是分组后的token。损失函数没有改变，因为SATA不需要额外的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SATA在ImageNet-1K图像分类上实现了94.9%的top-1准确率，超越了现有SOTA方法。在鲁棒性测试中，SATA在ImageNet-A上达到63.6%的top-1准确率，在ImageNet-R上达到79.2%的top-1准确率，在ImageNet-C上达到13.6%的mCE，均显著优于现有方法。重要的是，这些提升是在没有额外训练或微调的情况下实现的。

🎯 应用场景

SATA方法可广泛应用于各种需要高鲁棒性的视觉识别任务中，例如自动驾驶、医学图像分析、遥感图像处理等。在这些领域，模型需要能够抵抗各种噪声和扰动，SATA提供了一种简单有效的解决方案。此外，SATA的无训练特性使其易于部署和应用，具有很高的实际价值。未来，SATA可以与其他鲁棒性提升方法相结合，进一步提高模型的性能。

📄 摘要（原文）

Over the past few years, vision transformers (ViTs) have consistently demonstrated remarkable performance across various visual recognition tasks. However, attempts to enhance their robustness have yielded limited success, mainly focusing on different training strategies, input patch augmentation, or network structural enhancements. These approaches often involve extensive training and fine-tuning, which are time-consuming and resource-intensive. To tackle these obstacles, we introduce a novel approach named Spatial Autocorrelation Token Analysis (SATA). By harnessing spatial relationships between token features, SATA enhances both the representational capacity and robustness of ViT models. This is achieved through the analysis and grouping of tokens according to their spatial autocorrelation scores prior to their input into the Feed-Forward Network (FFN) block of the self-attention mechanism. Importantly, SATA seamlessly integrates into existing pre-trained ViT baselines without requiring retraining or additional fine-tuning, while concurrently improving efficiency by reducing the computational load of the FFN units. Experimental results show that the baseline ViTs enhanced with SATA not only achieve a new state-of-the-art top-1 accuracy on ImageNet-1K image classification (94.9%) but also establish new state-of-the-art performance across multiple robustness benchmarks, including ImageNet-A (top-1=63.6%), ImageNet-R (top-1=79.2%), and ImageNet-C (mCE=13.6%), all without requiring additional training or fine-tuning of baseline models.