Polynomial Composition Activations: Unleashing the Dynamics of Large Language Models
作者: Zhijian Zhuo, Ya Wang, Yutao Zeng, Xiaoqing Li, Xun Zhou, Jinwen Ma
分类: cs.CL, cs.AI, cs.LG
发布日期: 2024-11-06 (更新: 2025-03-20)
备注: Accepted by ICLR 2025
🔗 代码/项目: GITHUB
💡 一句话要点
提出多项式组合激活函数PolyCom，提升大语言模型动态性和性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 激活函数 Transformer 大语言模型 多项式组合 模型优化
📋 核心要点
- 现有Transformer模型激活函数（如ReLU、GeLU）在捕捉数据高阶交互方面存在局限性，限制了模型表达能力。
- 提出多项式组合激活函数PolyCom，通过优化Transformer动态性，增强模型对复杂函数的逼近能力。
- 实验表明，将PolyCom应用于大语言模型预训练，能显著提升模型准确率和收敛速度，优于传统激活函数。
📝 摘要（中文）
Transformer模型在各个领域都得到了广泛应用，这归功于其强大的拟合能力。这种成功部分归因于其固有的非线性。因此，除了原始Transformer架构中使用的ReLU函数外，研究人员还探索了诸如GeLU和SwishGLU等替代模块，以增强非线性，从而增强表征能力。本文提出了一种新的多项式组合激活函数（PolyCom），旨在优化Transformer的动态性。从理论上讲，我们对PolyCom进行了全面的数学分析，突出了其相对于其他激活函数的增强的表达性和有效性。值得注意的是，我们证明了结合PolyCom的网络实现了$ extbf{最优逼近率}$，表明PolyCom网络需要最少的参数来逼近Sobolev空间中的一般平滑函数。我们在大型语言模型（LLM）的预训练配置上进行了实证实验，包括密集和稀疏架构。通过用PolyCom代替传统的激活函数，我们使LLM能够捕获数据中的高阶交互，从而提高准确性和收敛速度方面的性能指标。大量的实验结果证明了我们方法的有效性，显示出优于其他激活函数的显着改进。
🔬 方法详解
问题定义：现有Transformer模型广泛使用ReLU、GeLU等激活函数，但这些激活函数在捕捉数据中的高阶交互方面存在不足，限制了模型的表达能力和性能。尤其是在处理复杂任务时，模型可能需要更多的参数才能达到相同的性能水平，或者难以收敛到最优解。
核心思路：论文的核心思路是通过设计一种新的激活函数——多项式组合激活函数（PolyCom），来增强Transformer模型的动态性，使其能够更好地捕捉数据中的高阶交互。PolyCom的设计目标是提高模型的表达能力，使其能够以更少的参数逼近复杂的函数，并提高模型的收敛速度。
技术框架：该研究主要集中在Transformer模型的激活函数层面的改进。具体而言，是将Transformer模型中的传统激活函数（如ReLU、GeLU）替换为提出的PolyCom激活函数。实验在大型语言模型的预训练阶段进行，包括密集和稀疏两种架构。通过比较使用PolyCom和传统激活函数的模型的性能，验证PolyCom的有效性。
关键创新：PolyCom的关键创新在于其多项式组合的结构，这种结构允许模型捕捉数据中的高阶交互，从而增强了模型的表达能力。理论分析表明，PolyCom网络能够实现最优逼近率，这意味着它可以用最少的参数逼近Sobolev空间中的一般平滑函数。与现有激活函数相比，PolyCom能够更有效地利用模型参数，提高模型的性能。
关键设计：PolyCom的具体形式是一个多项式函数，其系数是可学习的参数。论文中给出了PolyCom的具体数学表达式，并对其性质进行了详细的分析。在实验中，需要选择合适的多项式阶数和系数初始化方法。此外，为了保证模型的稳定性和收敛性，可能需要对PolyCom的输出进行一些正则化处理。具体的损失函数和网络结构与原始Transformer模型保持一致，主要关注激活函数替换带来的性能提升。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在大型语言模型的预训练任务中，使用PolyCom激活函数能够显著提高模型的准确率和收敛速度。具体而言，与使用传统激活函数的模型相比，使用PolyCom的模型在相同的训练时间内能够达到更高的性能水平，或者在达到相同的性能水平时需要更少的训练时间。这些结果验证了PolyCom的有效性，并表明其具有广泛的应用前景。
🎯 应用场景
PolyCom激活函数可广泛应用于各种基于Transformer架构的模型中，尤其是在需要处理复杂数据和高阶交互的任务中，例如自然语言处理、计算机视觉和语音识别等领域。该研究有助于提升大语言模型的性能，降低模型训练成本，并为开发更高效、更强大的AI系统提供新的思路。
📄 摘要（原文）
Transformers have found extensive applications across various domains due to the powerful fitting capabilities. This success can be partially attributed to their inherent nonlinearity. Thus, in addition to the ReLU function employed in the original transformer architecture, researchers have explored alternative modules such as GeLU and SwishGLU to enhance nonlinearity and thereby augment representational capacity. In this paper, we propose a novel category of polynomial composition activations (PolyCom), designed to optimize the dynamics of transformers. Theoretically, we provide a comprehensive mathematical analysis of PolyCom, highlighting its enhanced expressivity and efficacy relative to other activation functions. Notably, we demonstrate that networks incorporating PolyCom achieve the $\textbf{optimal approximation rate}$, indicating that PolyCom networks require minimal parameters to approximate general smooth functions in Sobolev spaces. We conduct empirical experiments on the pre-training configurations of large language models (LLMs), including both dense and sparse architectures. By substituting conventional activation functions with PolyCom, we enable LLMs to capture higher-order interactions within the data, thus improving performance metrics in terms of accuracy and convergence rates. Extensive experimental results demonstrate the effectiveness of our method, showing substantial improvements over other activation functions. Code is available at https://github.com/BryceZhuo/PolyCom.