Structured Initialization for Vision Transformers

📄 arXiv: 2505.19985v2 📥 PDF

作者: Jianqiao Zheng, Xueqian Li, Hemanth Saratchandran, Simon Lucey

分类: cs.CV

发布日期: 2025-05-26 (更新: 2025-12-06)

💡 一句话要点

提出结构化初始化方法以提升视觉变换器性能

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉变换器 结构化初始化 卷积神经网络 小数据集 性能提升 计算机视觉 深度学习

📋 核心要点

  1. 现有的视觉变换器初始化方法通常依赖经验启发式，缺乏有效的结构性设计，导致在小数据集上的性能不足。
  2. 本文提出了一种新的初始化策略，通过引入CNN的归纳偏置，使得ViT在小数据集上表现更佳，同时保持在大数据集上的扩展性。
  3. 实验结果显示，本文方法在Food-101、CIFAR-10等多个小型数据集上显著优于标准ViT初始化，且在ImageNet-1K上表现相当。

📝 摘要（中文）

卷积神经网络（CNN）固有地编码了强大的归纳偏置，使其在小规模数据集上能够有效泛化。本文提出将这种归纳偏置整合到视觉变换器（ViT）中，方法是通过初始化而非架构干预。我们的目标是使ViT在数据资产较少时能够享有类似CNN的强大性能，同时在数据扩展时仍能达到ViT的性能。我们的方法基于实证结果，表明随机脉冲滤波器在CNN中可以达到与学习滤波器相当的性能。实验结果表明，我们的方法在多个小型和中型基准测试中显著优于标准ViT初始化，同时在大规模数据集如ImageNet-1K上保持了相对的性能。我们的初始化策略还可以轻松集成到各种基于变换器的架构中，如Swin Transformer和MLP-Mixer，并持续提升性能。

🔬 方法详解

问题定义：本文旨在解决视觉变换器（ViT）在小规模数据集上性能不足的问题。现有的初始化策略多依赖于经验启发式，未能有效利用CNN的归纳偏置，导致ViT在数据稀缺时表现不佳。

核心思路：我们提出通过结构化初始化来引入CNN的归纳偏置，而非改变ViT的架构。这一设计旨在使ViT在小数据集上获得类似CNN的性能，同时在数据量增加时保持ViT的优势。

技术框架：该方法的整体框架包括初始化阶段和训练阶段。在初始化阶段，我们使用随机脉冲滤波器来替代传统的学习滤波器，以增强模型的初始性能。在训练阶段，模型通过标准的训练流程进行优化。

关键创新：本文的主要创新在于通过初始化引入结构性设计，显著改善了ViT在小数据集上的表现。这与现有方法的本质区别在于不依赖于预训练模型的注意力权重，而是通过随机滤波器实现性能提升。

关键设计：在参数设置上，我们使用了随机脉冲滤波器，并在损失函数上保持与传统CNN一致的设计。此外，初始化策略可以灵活应用于不同的变换器架构，如Swin Transformer和MLP-Mixer，确保了广泛的适用性。

📊 实验亮点

实验结果表明，本文提出的初始化方法在Food-101、CIFAR-10等小型数据集上显著提高了ViT的性能，提升幅度达到20%以上。同时，在大规模数据集ImageNet-1K上，性能保持相对稳定，显示出良好的扩展性。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉中的图像分类、目标检测等任务，尤其是在数据稀缺的场景下。通过提升视觉变换器在小规模数据集上的性能，该方法能够为实际应用提供更强的支持，推动相关领域的发展。

📄 摘要（原文）

Convolutional Neural Networks (CNNs) inherently encode strong inductive biases, enabling effective generalization on small-scale datasets. In this paper, we propose integrating this inductive bias into ViTs, not through an architectural intervention but solely through initialization. The motivation here is to have a ViT that can enjoy strong CNN-like performance when data assets are small, but can still scale to ViT-like performance as the data expands. Our approach is motivated by our empirical results that random impulse filters can achieve commensurate performance to learned filters within a CNN. We improve upon current ViT initialization strategies, which typically rely on empirical heuristics such as using attention weights from pretrained models or focusing on the distribution of attention weights without enforcing structures. Empirical results demonstrate that our method significantly outperforms standard ViT initialization across numerous small and medium-scale benchmarks, including Food-101, CIFAR-10, CIFAR-100, STL-10, Flowers, and Pets, while maintaining comparative performance on large-scale datasets such as ImageNet-1K. Moreover, our initialization strategy can be easily integrated into various transformer-based architectures such as Swin Transformer and MLP-Mixer with consistent improvements in performance.