Putting Transformer Theories to the Test
作者: Awni Altabaa, Tobias Schnabel, Kiran Tomlinson
分类: cs.LG, cs.CL
发布日期: 2026-10-23
💡 一句话要点
提出七种变换器理论以评估其能力与局限性
🎯 匹配领域: 支柱一：机器人控制 (Robot Control)
关键词: 变换器理论 能力评估 任务预测 样本复杂度 长度泛化 预训练模型 自然语言处理
📋 核心要点
- 现有的变换器理论在预测变换器在不同任务上的表现时存在分歧，缺乏统一的解释框架。
- 论文通过映射七种变换器能力理论，构建了一个共同的预测矩阵，以评估其在多种任务中的表现。
- 实验结果表明，没有单一理论能够全面解释变换器的成功与失败，强调了理论设计中的关键特征。
📝 摘要（中文）
本文探讨了多种形式化理论，以表征变换器架构的能力和局限性。这些理论由于假设和概念框架的不同，可能在对变换器任务的预测上存在分歧。作者映射了七种变换器能力理论，并将其结果转化为一个共同的预测矩阵，涵盖了不同计算结构的任务。通过控制实验评估理论预测，发现没有单一理论能够解释观察到的成功与失败模式，强调了变换器理论必须捕捉的特定特征。
🔬 方法详解
问题定义：本文旨在解决现有变换器理论在预测变换器任务表现时的不足，特别是不同理论之间的矛盾与不一致性。
核心思路：通过映射七种变换器能力理论并构建预测矩阵，论文提供了一个统一的框架来评估变换器在多种任务中的表现，强调了理论必须捕捉的特定特征。
技术框架：整体架构包括理论映射、预测矩阵构建和控制实验三个主要模块。首先，作者将七种理论的结果整合到一个矩阵中，然后通过实验验证这些理论的预测。
关键创新：最重要的创新在于提出了一个综合性的预测矩阵，能够系统性地评估不同理论在多种任务中的适用性与局限性，填补了现有理论之间的空白。
关键设计：在实验中，作者关注了样本复杂度、长度泛化和预训练语言模型的表现，设计了控制实验以验证理论预测的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有理论无法全面解释变换器的表现。例如，C-RASP理论预测的$k$-hop归纳任务难度较高，但小型变换器在该任务上表现良好，说明理论与实际表现之间的差距。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、机器翻译和文本生成等任务，能够为变换器架构的设计与优化提供理论指导。未来，研究结果可能推动更有效的变换器模型开发，提升其在复杂任务中的表现。
📄 摘要（原文）
Several formal theories have been developed to characterize the capabilities and limitations of the transformer architecture, each employing different abstractions that capture different features of the architecture. Due to the differences in their underlying assumptions and conceptual frameworks, these theories can disagree in their predictions about what tasks transformers find easy or hard. We map out seven theories of transformer capability (Star-free, $\mathsf{AC}^0$, $\mathsf{TC}^0$, C-RASP, MPC, BAPO, and Sensitivity) and translate their results into a common matrix of predictions across a suite of tasks covering different computational structures. We provide new theoretical results to complete this matrix. We then evaluate theoretical predictions through controlled experiments measuring in-distribution sample complexity, length generalization, and pretrained language model performance. We find that no single theory explains the observed pattern of successes and failures. When a theory does not capture the transformer behaviors relevant to a task, its predictions break down; for instance, we show that the $k$-hop induction task is predicted hard by C-RASP because it does not model content-dependent attention, but we train small transformers on this task that length-generalize. Similarly, theories assuming hard attention like $\mathsf{AC}^0$ and BAPO predict binary majority to be hard, for which we also find success in practice. Together, our results point to several specific features that a theory of transformers must capture: soft rather than hard attention, dynamic content-dependent retrieval, bounded computation at each position, an account of learnability and inductive biases, and a combination of upper and lower bounds.