EUGens: Efficient, Unified, and General Dense Layers

📄 arXiv: 2601.22563v1 📥 PDF

作者: Sang Min Kim, Byeongchan Kim, Arijit Sehanobish, Somnath Basu Roy Chowdhury, Rahul Kidambi, Dongseok Shim, Avinava Dubey, Snigdha Chaturvedi, Min-hwan Oh, Krzysztof Choromanski

分类: cs.LG, cs.AI

发布日期: 2026-01-30

备注: Neurips 2025. Encompasses results of arXiv:2410.09771

💡 一句话要点

提出EUGens高效通用稠密层，加速神经网络推理并降低参数量。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高效神经网络 全连接层 随机特征 模型压缩 知识迁移 线性复杂度 Transformer MLP

📋 核心要点

  1. 全连接层（FFL）是神经网络的计算瓶颈，限制了模型在资源受限环境中的应用。
  2. EUGens利用随机特征近似FFL，并引入输入范数依赖，实现线性时间复杂度的推理。
  3. 实验表明，EUGens在Transformer和MLP中显著提升了推理速度和内存效率。

📝 摘要（中文）

为了将机器学习模型扩展到实时应用和资源受限的环境，高效的神经网络至关重要。全连接前馈层（FFL）是神经网络架构中计算和参数数量的瓶颈。为了解决这个问题，我们提出了一种新的稠密层，即高效、统一和通用的稠密层（EUGens），它推广了标准的全连接前馈层。EUGens利用随机特征来近似标准FFL，并通过在其计算中加入对输入范数的直接依赖来超越它们。所提出的层统一了现有的高效FFL扩展，并通过将推理复杂度从二次时间降低到线性时间来提高效率。它们还产生了第一个使用任意多项式激活函数逼近FFL的无偏算法。此外，EUGens减少了参数数量和计算开销，同时保留了FFL的表达能力和适应性。我们还提出了一种绕过反向传播的逐层知识迁移技术，使EUGens能够有效地适应预训练模型。在实验中，我们观察到将EUGens集成到Transformer和MLP中，在一系列任务中，包括图像分类、语言模型预训练和3D场景重建，推理速度（高达27%）和内存效率（高达30%）都有显著提高。总的来说，我们的结果突出了EUGens在现实场景中大规模神经网络可扩展部署的潜力。

🔬 方法详解

问题定义：论文旨在解决全连接前馈层（FFL）在神经网络中带来的计算和参数量瓶颈问题。现有的FFL计算复杂度高，参数量大，限制了模型在资源受限设备上的部署和大规模应用。

核心思路：论文的核心思路是利用随机特征来近似标准FFL，并通过引入对输入范数的直接依赖来提高模型的表达能力和效率。这种方法可以将推理复杂度从二次时间降低到线性时间，同时减少参数数量。

技术框架：EUGens层可以替代标准的全连接层，嵌入到各种神经网络架构中，如Transformer和MLP。其主要流程包括：1）利用随机特征映射输入；2）计算输入范数；3）将随机特征映射和输入范数结合，进行非线性变换；4）输出结果。此外，论文还提出了一种逐层知识迁移技术，用于将预训练模型的知识迁移到EUGens层。

关键创新：EUGens的关键创新在于：1）提出了一种新的稠密层，它推广了标准的全连接前馈层；2）利用随机特征和输入范数依赖，实现了高效的FFL近似；3）提出了第一个使用任意多项式激活函数逼近FFL的无偏算法；4）提出了一种逐层知识迁移技术，用于高效地适应预训练模型。

关键设计：EUGens的关键设计包括：1）随机特征映射的选择，例如高斯随机特征；2）输入范数的计算方式，例如L2范数；3）非线性激活函数的选择，可以是任意多项式函数；4）知识迁移过程中的层间映射关系和损失函数设计。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EUGens在图像分类、语言模型预训练和3D场景重建等任务中，显著提高了推理速度和内存效率。具体来说，在Transformer和MLP中集成EUGens后，推理速度提升高达27%，内存效率提升高达30%。这些结果验证了EUGens在实际应用中的有效性。

🎯 应用场景

EUGens具有广泛的应用前景，包括但不限于：移动设备上的图像识别、自然语言处理和3D场景重建等资源受限场景；需要快速推理的实时应用，如自动驾驶和机器人；以及需要部署大规模神经网络的云计算环境。EUGens能够降低模型部署成本，提高推理效率，加速AI技术的普及。

📄 摘要（原文）

Efficient neural networks are essential for scaling machine learning models to real-time applications and resource-constrained environments. Fully-connected feedforward layers (FFLs) introduce computation and parameter count bottlenecks within neural network architectures. To address this challenge, in this work, we propose a new class of dense layers that generalize standard fully-connected feedforward layers, \textbf{E}fficient, \textbf{U}nified and \textbf{Gen}eral dense layers (EUGens). EUGens leverage random features to approximate standard FFLs and go beyond them by incorporating a direct dependence on the input norms in their computations. The proposed layers unify existing efficient FFL extensions and improve efficiency by reducing inference complexity from quadratic to linear time. They also lead to \textbf{the first} unbiased algorithms approximating FFLs with arbitrary polynomial activation functions. Furthermore, EuGens reduce the parameter count and computational overhead while preserving the expressive power and adaptability of FFLs. We also present a layer-wise knowledge transfer technique that bypasses backpropagation, enabling efficient adaptation of EUGens to pre-trained models. Empirically, we observe that integrating EUGens into Transformers and MLPs yields substantial improvements in inference speed (up to \textbf{27}\%) and memory efficiency (up to \textbf{30}\%) across a range of tasks, including image classification, language model pre-training, and 3D scene reconstruction. Overall, our results highlight the potential of EUGens for the scalable deployment of large-scale neural networks in real-world scenarios.