Standard Transformers Achieve the Minimax Rate in Nonparametric Regression with $C^{s,λ}$ Targets
作者: Yanming Lai, Defeng Sun
分类: stat.ML, cs.IT, cs.LG
发布日期: 2026-02-24
备注: 58 pages, 1 figure
💡 一句话要点
标准Transformer在非参数回归中实现最优极小最大速率
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: Transformer 非参数回归 Hölder函数 理论分析 机器学习 模型优化 泛化能力
📋 核心要点
- 现有方法在理论上缺乏对Transformer模型在非参数回归中的性能分析，尤其是对Hölder函数的近似能力。
- 论文提出标准Transformer能够以任意精度近似Hölder函数，并在此基础上证明其在非参数回归中达到最优极小最大速率。
- 研究结果表明，标准Transformer的Lipschitz常数和记忆能力的上界为理解其性能提供了重要的理论支持。
📝 摘要（中文）
本论文首次证明标准Transformer能够以任意精度近似Hölder函数$C^{s,λ}([0,1]^{d imes n})$，并在非参数回归中达到最优的极小最大速率。通过引入大小元组和维度向量两个度量，论文对Transformer结构进行了细致的表征，为未来在不同结构下的泛化和优化误差研究提供了基础。此外，论文还推导了标准Transformer的Lipschitz常数和记忆能力的上界，这些结果为Transformer模型的强大能力提供了理论依据。
🔬 方法详解
问题定义：本论文旨在解决标准Transformer在非参数回归中对Hölder函数近似能力的理论证明问题。现有方法缺乏对Transformer模型在此场景下的性能分析，尤其是在极小最大速率方面的研究。
核心思路：论文通过证明标准Transformer能够以任意精度近似Hölder函数，进而展示其在非参数回归中达到最优极小最大速率的能力。这一思路为Transformer模型的理论基础提供了支持。
技术框架：整体架构包括对Hölder函数的定义、标准Transformer的结构分析，以及通过引入新的度量（大小元组和维度向量）来细化对Transformer的表征。主要模块包括近似能力的证明和极小最大速率的分析。
关键创新：论文的主要创新在于首次证明标准Transformer在非参数回归中能够达到最优极小最大速率，并通过引入新的度量方式对Transformer结构进行细致分析。这与现有方法的理论分析形成了鲜明对比。
关键设计：在参数设置上，论文对Transformer的结构进行了细致的分析，特别是Lipschitz常数和记忆能力的上界推导，这些设计为理解Transformer的泛化能力和优化性能提供了理论依据。
📊 实验亮点
实验结果表明，标准Transformer在近似Hölder函数时能够以任意精度达到理论上的极小最大速率，且在Lipschitz常数和记忆能力的上界分析中，提供了具体的性能数据。这些结果为Transformer模型的强大能力提供了有力的理论支持。
🎯 应用场景
该研究的潜在应用领域包括机器学习中的非参数回归问题，尤其是在需要高精度函数近似的场景，如金融预测、图像处理和自然语言处理等。通过理论上的支持，未来可以更好地优化Transformer模型的结构和性能，提升其在实际应用中的效果。
📄 摘要（原文）
The tremendous success of Transformer models in fields such as large language models and computer vision necessitates a rigorous theoretical investigation. To the best of our knowledge, this paper is the first work proving that standard Transformers can approximate Hölder functions $ C^{s,λ}\left([0,1]^{d\times n}\right) $$ (s\in\mathbb{N}_{\geq0},0<λ\leq1) $ under the $L^t$ distance ($t \in [1, \infty]$) with arbitrary precision. Building upon this approximation result, we demonstrate that standard Transformers achieve the minimax optimal rate in nonparametric regression for Hölder target functions. It is worth mentioning that, by introducing two metrics: the size tuple and the dimension vector, we provide a fine-grained characterization of Transformer structures, which facilitates future research on the generalization and optimization errors of Transformers with different structures. As intermediate results, we also derive the upper bounds for the Lipschitz constant of standard Transformers and their memorization capacity, which may be of independent interest. These findings provide theoretical justification for the powerful capabilities of Transformer models.