How Transformers Learn Regular Language Recognition: A Theoretical Study on Training Dynamics and Implicit Bias

📄 arXiv: 2505.00926v3 📥 PDF

作者: Ruiquan Huang, Yingbin Liang, Jing Yang

分类: cs.LG, cs.CL, stat.ML

发布日期: 2025-05-02 (更新: 2025-05-28)

备注: accepted by ICML 2025

💡 一句话要点

提出一层变换器学习正则语言识别的训练动态分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 正则语言识别 变换器 梯度下降 思维链 训练动态 自然语言处理 模型性能

📋 核心要点

  1. 现有方法在处理正则语言识别任务时，尤其是奇偶校验任务，面临着有效性和效率的挑战。
  2. 本研究提出通过一层变换器结合思维链（CoT）来解决偶对和奇偶校验任务，分析其训练动态。
  3. 实验结果表明，注意力层和线性层的联合训练能够有效降低损失，并实现样本的正确分离。

📝 摘要（中文）

语言识别任务在自然语言处理（NLP）中至关重要，广泛用于评估大型语言模型（LLMs）的性能。本研究聚焦于两个正则语言识别任务，即“偶对”和“奇偶校验”，旨在探讨一层变换器如何通过理论分析其在梯度下降下的训练动态来解决这些任务。研究表明，偶对任务可以直接由一层变换器解决，而奇偶校验任务则需要将思维链（CoT）整合到变换器的推理阶段或训练过程中。分析结果显示，注意力层和线性层的联合训练经历两个阶段，第一阶段注意力层快速增长，第二阶段则趋于稳定，线性层以对数速率增长，最终实现正确的样本分离。实验验证了这些理论结果。

🔬 方法详解

问题定义：本论文旨在解决正则语言识别中的偶对和奇偶校验任务。现有方法在处理奇偶校验时效率低下，无法直接应用一层变换器。

核心思路：通过理论分析一层变换器的训练动态，结合思维链（CoT）来增强模型的推理能力，从而有效解决奇偶校验任务。

技术框架：整体架构包括一个注意力层和一个线性层，训练过程中经历两个阶段：第一阶段注意力层快速增长，第二阶段注意力层稳定，线性层逐渐接近最大边际超平面。

关键创新：本研究的创新在于揭示了注意力层和线性层的联合训练动态，特别是其在不同阶段的表现差异，与现有方法相比，提供了更深入的理论理解。

关键设计：在训练过程中，损失函数以$O(1/t)$的速率下降，注意力层的输出被映射为可分离的向量，线性层则通过对数增长接近正确的样本分离。具体参数设置和网络结构细节在实验中进行了验证。

📊 实验亮点

实验结果表明，经过联合训练的变换器在偶对和奇偶校验任务上均表现优异，尤其是在奇偶校验任务中，损失以$O(1/t)$的速率下降，验证了理论分析的有效性，提升了模型的整体性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的语言识别系统、智能对话系统和文本分析工具。通过提升变换器在正则语言识别任务中的表现，能够为相关应用提供更高的准确性和效率，未来可能推动更复杂语言模型的发展。

📄 摘要（原文）

Language recognition tasks are fundamental in natural language processing (NLP) and have been widely used to benchmark the performance of large language models (LLMs). These tasks also play a crucial role in explaining the working mechanisms of transformers. In this work, we focus on two representative tasks in the category of regular language recognition, known as even pairs' andparity check', the aim of which is to determine whether the occurrences of certain subsequences in a given sequence are even. Our goal is to explore how a one-layer transformer, consisting of an attention layer followed by a linear layer, learns to solve these tasks by theoretically analyzing its training dynamics under gradient descent. While even pairs can be solved directly by a one-layer transformer, parity check need to be solved by integrating Chain-of-Thought (CoT), either into the inference stage of a transformer well-trained for the even pairs task, or into the training of a one-layer transformer. For both problems, our analysis shows that the joint training of attention and linear layers exhibits two distinct phases. In the first phase, the attention layer grows rapidly, mapping data sequences into separable vectors. In the second phase, the attention layer becomes stable, while the linear layer grows logarithmically and approaches in direction to a max-margin hyperplane that correctly separates the attention layer outputs into positive and negative samples, and the loss decreases at a rate of $O(1/t)$. Our experiments validate those theoretical results.