Procedural Core: A Compact Recurrent Initialization for Vision Transformers
作者: Zachary Shinnick, Christian Internò, Hemanth Saratchandran, Anton van den Hengel, Damien Teney
分类: cs.LG, cs.CV
发布日期: 2026-09-29
备注: Project page: zlshinnick.github.io/procedural-core/
💡 一句话要点
提出Procedural Core以解决Transformer初始化效率问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: Transformer 初始化策略 递归模型 图像分类 自监督学习 程序生成数据 跨模型重用 深度学习
📋 核心要点
- 现有的Transformer模型通常需要从随机初始化开始，导致训练效率低下，且需要大量的计算资源。
- 本文提出的Procedural Core初始化策略，通过训练最小递归Transformer模型并扩展其权重，实现了跨模型的权重重用。
- 实验表明，使用Procedural Core初始化的模型在多个任务上均表现出显著的性能提升，尤其是在图像分类和零-shot分割任务中。
📝 摘要（中文）
本文提出了一种名为Procedural Core的初始化策略，旨在通过捕捉通用结构来提高Transformer模型的初始化效率。传统的Transformer模型通常从随机初始化开始训练，所有能力依赖于大规模优化。研究表明，少量抽象的程序生成数据可以以低成本帮助获取通用归纳结构。Procedural Core通过训练一个最小的递归Transformer模型并扩展其权重，能够在多个模型间重用这些权重，从而提高图像分类、自监督视觉学习和自然语言建模等任务的性能。实验结果显示，该方法在ImageNet上提升了2.2个百分点的准确率，证明了Transformer模型可以在低成本下以通用能力进行初始化。
🔬 方法详解
问题定义：本文旨在解决Transformer模型在训练初期的随机初始化效率低下的问题。现有方法需要大量的计算资源和时间来优化模型能力，且每个目标模型都需重复预训练过程。
核心思路：Procedural Core通过捕捉通用的归纳结构，将其压缩为一组可重用的权重，从而避免了每次训练都从零开始。该方法通过训练一个最小的递归Transformer模型，利用程序生成的数据来初始化更大规模的Transformer模型。
技术框架：整体流程包括两个主要阶段：首先，训练一个小型的递归Transformer模型以学习通用结构；其次，将该模型的权重扩展并应用于不同宽度和深度的Transformer模型中。
关键创新：Procedural Core的最大创新在于其能够将通用结构以紧凑的形式编码为权重，这些权重可以在不同模型间共享，显著提高了初始化效率。与传统方法相比，该策略减少了对特定领域或任务数据的依赖。
关键设计：在模型设计中，采用了递归结构以学习紧凑的权重，并通过实验验证了高范数token的抑制对模型性能的积极影响。具体参数设置和损失函数的选择经过多次实验优化，以确保在不同任务中的有效性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，使用Procedural Core初始化的85M参数ViT-Base模型在ImageNet上提升了2.2个百分点的top-1准确率。此外，该方法在零-shot分割、目标定位和深度估计等任务中也取得了显著的性能提升，证明了其广泛的适用性和有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和代码生成等多个领域。通过提供一种高效的初始化策略，Procedural Core能够帮助研究人员和工程师在训练大型Transformer模型时节省计算资源和时间，推动相关技术的快速发展和应用。未来，该方法可能在多模态学习和跨领域迁移学习中发挥重要作用。
📄 摘要（原文）
Transformers are typically trained from random initialization, requiring all their capabilities to emerge from large-scale optimization. Recent work showed that a small amount of abstract procedurally generated data can help acquire generic inductive structure at low cost. However, this adds a pretraining stage that must be repeated for every target model. We propose Procedural Core, an initialization strategy that captures this generic structure into a compact set of weights that can be reused across models. We train a minimal recurrent transformer on procedural data, then expand its weights to initialize transformers of arbitrary width and depth. The resulting initialization improves performance on image classification, self-supervised visual learning (DINO), and modeling natural language (FineWeb-Edu) and code (CodeParrot). For image classification, expanding a 1M-parameter core to initialize an 85M-parameter ViT-Base improves ImageNet top-1 accuracy by 2.2 pp over standard random initialization. Our analysis identifies recurrence as essential for learning compact weights that transfer across models. In ViTs, we localize a key benefit in the suppression of high-norm tokens that produces substantial improvements in zero-shot segmentation (ImageNet-S mAP 32.3 to 42.9), object localization (VOC07 CorLoc 9.9 to 18.4), and depth estimation (NYUv2 RMSE 1.104 to 0.998). This demonstrates that transformers need not start from a blank slate, and can be initialized with generic capabilities at low cost with no domain- or task-specific data.