Learning with Unmasked Tokens Drives Stronger Vision Learners
作者: Taekyung Kim, Sanghyuk Chun, Byeongho Heo, Dongyoon Han
分类: cs.CV
发布日期: 2023-10-20 (更新: 2024-08-24)
备注: 24 pages, 6 figures, 10 tables. To be presented at ECCV'24
🔗 代码/项目: GITHUB
💡 一句话要点
通过引入未掩码标记提升视觉学习者的表现
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 掩码图像建模 自监督学习 上下文学习 视觉表示 深度学习
📋 核心要点
- 现有的掩码图像建模方法在上下文学习上存在局限，导致编码器的注意力范围受限。
- 本文提出通过引入未掩码标记来增强编码器的上下文学习能力，使其能够从更广泛的上下文中学习。
- 实验结果显示，改进后的模型在ImageNet-1K上取得了84.2%的准确率，并在多个下游任务中表现出显著提升。
📝 摘要（中文）
掩码图像建模（MIM）已成为一种领先的自监督学习策略。现有的MIM方法如掩码自编码器（MAE）通过随机掩码输入标记来学习强表示，但其预训练编码器常表现出有限的注意力范围，主要由于仅关注重建掩码标记。为了解决这一限制，本文提出了一种改进的MIM方法，明确将未掩码标记纳入训练过程，使编码器能够从更广泛的上下文监督中学习。通过这种方式，未掩码标记获得了丰富的上下文信息，从而增强了掩码标记的表示能力。实验结果表明，使用ViT-B在ImageNet-1K上取得了84.2%的顶级准确率，提升了0.6个百分点，并在下游语义分割和细粒度视觉分类任务中表现出显著的性能提升。
🔬 方法详解
问题定义：现有的掩码图像建模方法（如MAE）主要集中在重建掩码标记，导致编码器的上下文学习能力受限，注意力范围有限。
核心思路：本文通过将未掩码标记引入训练过程，使编码器能够学习更广泛的上下文信息，从而提升掩码标记的表示能力。
技术框架：整体架构包括编码器和解码器两个主要模块。编码器处理未掩码标记以获取上下文信息，解码器则负责重建掩码标记。
关键创新：本研究的创新在于明确引入未掩码标记进行训练，打破了传统MIM方法的局限，使得编码器能够利用更丰富的上下文信息。
关键设计：在参数设置上，采用了特定的损失函数来平衡掩码和未掩码标记的学习，同时在网络结构上优化了编码器的设计，以增强其上下文学习能力。
🖼️ 关键图片
📊 实验亮点
实验结果显示，改进后的模型在ImageNet-1K上取得了84.2%的顶级准确率，相较于基线提升了0.6个百分点。此外，在下游语义分割和细粒度视觉分类任务中也表现出显著的性能提升，验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉中的图像分类、语义分割和细粒度视觉分类等任务。通过提升模型的上下文学习能力，能够在实际应用中实现更高的准确性和鲁棒性，推动自监督学习技术的进一步发展。
📄 摘要（原文）
Masked image modeling (MIM) has become a leading self-supervised learning strategy. MIMs such as Masked Autoencoder (MAE) learn strong representations by randomly masking input tokens for the encoder to process, with the decoder reconstructing the masked tokens to the input. However, MIM pre-trained encoders often exhibit a limited attention span, attributed to MIM's sole focus on regressing masked tokens only, which may impede the encoder's broader context learning. To tackle the limitation, we improve MIM by explicitly incorporating unmasked tokens into the training process. Specifically, our method enables the encoder to learn from broader context supervision, allowing unmasked tokens to experience broader contexts while the decoder reconstructs masked tokens. Thus, the encoded unmasked tokens are equipped with extensive contextual information, empowering masked tokens to leverage the enhanced unmasked tokens for MIM. As a result, our simple remedy trains more discriminative representations revealed by achieving 84.2% top-1 accuracy with ViT-B on ImageNet-1K with 0.6%p gain. We attribute the success to the enhanced pre-training method, as evidenced by the singular value spectrum and attention analyses. Finally, our models achieve significant performance gains at the downstream semantic segmentation and fine-grained visual classification tasks; and on diverse robust evaluation metrics. Code is available at https://github.com/naver-ai/lut