Quantifying Concentration Phenomena of Mean-Field Transformers in the Low-Temperature Regime

📄 arXiv: 2605.10931v1 📥 PDF

作者: Albert Alcalde, Leon Bungert, Konstantin Riedl, Tim Roith

分类: math.AP, cs.LG, math.DS

发布日期: 2026-05-11

备注: 30 pages, 10 figures

💡 一句话要点

量化平均场Transformer在低温极限下的浓度现象，揭示Token分布的演化规律

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: Transformer理论 平均场理论 注意力机制 Wasserstein距离 动力系统 深度学习数学基础

📋 核心要点

  1. 核心问题：Transformer推理过程中Token分布的动态演化机制尚不明确，特别是在低温极限（即注意力权重趋于尖锐）下的数学描述存在缺失。
  2. 方法要点：利用平均场连续性方程建模Token演化，通过交互粒子系统理论，量化了Token分布向特定投影映射收敛的Wasserstein距离界限。
  3. 实验效果：理论推导证明了分布在logβ时间尺度内的浓度现象，数值实验进一步揭示了有限温度下由值矩阵谱主导的终端动力学行为。

📝 摘要（中文）

自注意力模块作为现代大语言模型的核心组件，其动力学行为备受关注。本文研究了深度仅编码器Transformer在推理阶段Token的演化过程，该过程在大Token极限下由平均场连续性方程描述。借鉴交互多粒子系统的收敛性分析方法，本文证明了Token分布会迅速集中在由键（Key）、查询（Query）和值（Value）矩阵诱导的投影映射下的初始分布前推测上，并在中等时间尺度内保持亚稳态。具体而言，在温度参数β⁻¹→0及推理时间t≥0的条件下，证明了两个分布之间的Wasserstein距离以√log(β+1)/β·exp(Ct)+exp(-ct)的速率缩放。证明过程通过建立零温度方程的Lyapunov型估计，识别了t→∞时的极限，并结合Wasserstein空间中的稳定性估计与定量Laplace原理实现了两个方程的耦合。结果表明，在logβ量级的时间尺度内，Token分布会向识别出的极限分布集中。数值实验验证了该理论，并进一步揭示了在有限β和大t条件下，动力学进入由值矩阵谱主导的终端阶段。

🔬 方法详解

问题定义：论文旨在解决深度Transformer在推理阶段，随着层数增加（即时间t演化），Token分布如何演化并最终趋于稳定的数学机理问题，特别是在注意力机制趋于确定性（低温极限）时的收敛速度与浓度现象。

核心思路：将Transformer的Token演化视为交互多粒子系统，通过平均场极限将其转化为连续性方程。利用Wasserstein距离作为度量，分析系统在低温极限下的稳定性，从而量化分布的集中趋势。

技术框架：首先建立零温度下的平均场方程，通过Lyapunov函数分析其渐近行为；其次，引入定量Laplace原理，将有限温度下的系统与零温度极限系统进行耦合；最后，通过Wasserstein空间的稳定性估计，推导出分布收敛的误差界限。

关键创新：首次在数学上严格证明了Transformer Token分布在特定时间尺度内向投影映射分布的收敛性，并给出了关于温度参数β和时间t的显式收敛速率，弥补了深度学习理论中关于注意力机制动力学分析的空白。

关键设计：核心技术细节包括利用Key-Query-Value矩阵诱导的投影映射作为极限算子，以及通过Lyapunov型估计处理非线性交互项，确保了在Wasserstein度量下误差项的有效控制。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

研究给出了Wasserstein距离的精确缩放界限：√log(β+1)/β·exp(Ct)+exp(-ct)。数值实验不仅验证了理论预测的浓度现象，还发现了理论模型之外的终端动力学特征，即当t足够大时，系统行为受值矩阵（Value Matrix）特征谱的显著影响，为理解模型长程推理行为提供了实证补充。

🎯 应用场景

该研究为理解大语言模型的推理深度与注意力机制稳定性提供了理论支撑。其成果有助于优化模型架构设计，指导模型剪枝与压缩策略，并为分析Transformer在长序列生成任务中的注意力坍缩现象提供数学工具，对提升模型推理效率与可解释性具有重要价值。

📄 摘要（原文）

Transformers with self-attention modules as their core components have become an integral architecture in modern large language and foundation models. In this paper, we study the evolution of tokens in deep encoder-only transformers at inference time which is described in the large-token limit by a mean-field continuity equation. Leveraging ideas from the convergence analysis of interacting multi-particle systems, with particles corresponding to tokens, we prove that the token distribution rapidly concentrates onto the push-forward of the initial distribution under a projection map induced by the key, query, and value matrices, and remains metastable for moderate times. Specifically, we show that the Wasserstein distance of the two distributions scales like $\sqrt{{\log(β+1)}/β}\exp(Ct)+\exp(-ct)$ in terms of the temperature parameter $β^{-1}\to 0$ and inference time $t\geq 0$. For the proof, we establish Lyapunov-type estimates for the zero-temperature equation, identify its limit as $t\to\infty$, and employ a stability estimate in Wasserstein space together with a quantitative Laplace principle to couple the two equations. Our result implies that for time scales of order $\logβ$ the token distribution concentrates at the identified limiting distribution. Numerical experiments confirm this and, beyond that, complement our theory by showing that for finite $β$ and large $t$ the dynamics enter a different terminal phase, dominated by the spectrum of the value matrix.