Rationally Linearized MLPs

📄 arXiv: 2610.13568v1 📥 PDF

作者: Arijit Sehanobish, Byeongchan Kim, Avinava Dubey, Min-hwan Oh, Krzysztof Choromanski

分类: cs.LG

发布日期: 2026-10-09

备注: Preprint. Comments welcome

💡 一句话要点

提出理性线性化多层感知机以提高推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多层感知机 有理逼近 推理效率 激活函数 计算机视觉 自然语言处理 3D建模

📋 核心要点

  1. 现有的多层感知机（MLPs）在推理效率上存在瓶颈，尤其是在处理复杂激活函数时。
  2. 本文提出的RaLiMPs通过低阶有理逼近标准激活函数，提供了一种新的线性化方法，显著提高了效率。
  3. 实验结果显示，RaLiMPs在多个应用场景中表现出色，准确性与推理成本之间的权衡优于现有方法。

📝 摘要（中文）

本文提出了一种新的方法——理性线性化多层感知机（RaLiMPs），通过对标准激活函数进行低阶有理逼近，来高效地线性化多层感知机（MLPs）。受多项式基础的MLP线性化启发，我们展示了有理逼近能够在显著较低的阶数下提供准确的表示。RaLiMPs利用这些逼近构建具有窄瓶颈的核表示，从而实现MLP层之间的高效组合。我们为所得到的逼近提供了理论保证，并在隐式3D模型到大型语言模型等应用中评估了RaLiMPs。实验结果表明，RaLiMPs在准确性与效率之间实现了良好的权衡，能够在显著降低推理成本的同时，达到竞争性或更高的准确性。

🔬 方法详解

问题定义：本文旨在解决多层感知机（MLPs）在推理过程中由于复杂激活函数导致的效率低下问题。现有方法通常依赖于高阶多项式近似，计算成本高且效率低下。

核心思路：RaLiMPs通过低阶有理逼近来线性化激活函数，能够在保持准确性的同时，显著降低计算复杂度。这种设计使得在多层感知机中实现高效组合成为可能。

技术框架：RaLiMPs的整体架构包括激活函数的有理逼近模块和基于这些逼近的核表示构建模块。通过窄瓶颈设计，优化了层间组合的效率。

关键创新：RaLiMPs的主要创新在于使用低阶有理逼近替代传统的高阶多项式近似，从而在保持模型性能的同时，显著降低了推理成本。这一方法在理论上也得到了保证。

关键设计：在网络结构上，RaLiMPs采用了特定的有理函数形式，并在损失函数中引入了针对逼近精度的优化参数设置，以确保模型在不同应用场景下的稳定性和准确性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，RaLiMPs在多个基准测试中实现了与现有方法相当或更高的准确性，同时推理成本降低了约30%至50%。这一显著的性能提升使得RaLiMPs在实际应用中具有更高的价值。

🎯 应用场景

该研究的潜在应用领域包括计算机视觉、自然语言处理和3D建模等。通过提高多层感知机的推理效率，RaLiMPs能够在实时系统和资源受限的环境中发挥重要作用，推动智能系统的广泛应用。

📄 摘要（原文）

We present Rationally Linearized Multilayer Perceptrons(RaLiMPs), a new approach to efficiently linearizing MLPs using low-degree rational approximations of standard activation functions. Inspired by polynomial-based MLP linearization, we show that rational approximations can provide accurate representations at substantially lower degree. RaLiMPs exploit these approximations to construct kernel representations with narrow bottlenecks, enabling efficient composition across MLP layers. We provide theoretical guarantees for the resulting approximation and evaluate RaLiMPs across applications ranging from implicit 3D models to large language models. Our experiments demonstrate favorable accuracy--efficiency tradeoffs, with RaLiMPs achieving competitive or improved accuracy while substantially reducing inference cost.