Neuralink: Fast LLM Inference on Smartphones with Neuron Co-Activation Linking
作者: Tuowei Wang, Ruwen Fan, Minxing Huang, Zixu Hao, Kun Li, Ting Cao, Youyou Lu, Yaoxue Zhang, Ju Ren
分类: cs.LG, cs.AI, cs.OS, cs.PF
发布日期: 2024-10-25 (更新: 2025-10-12)
期刊: Proceedings of the 30th ACM International Conference on Architectural Support for Programming Languages and Operating Systems, Vol. 3, Rotterdam, Netherlands, 2025, pp. 147-162
💡 一句话要点
提出Neuralink以优化智能手机上的大语言模型推理
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 移动设备 神经元共激活 推理优化 稀疏性技术 存储布局 I/O效率 智能手机
📋 核心要点
- 现有轻量级LLMs在移动设备上部署时面临计算和内存需求高的问题，导致模型准确性下降。
- Neuralink通过优化神经元在闪存中的布局，利用神经元共激活的概念来提高I/O效率，解决了这一挑战。
- 实验结果显示，Neuralink在多款智能手机上实现了平均1.49倍的端到端延迟提升，优于现有最先进技术。
📝 摘要（中文）
大语言模型（LLMs）在多个领域取得了显著成功，但由于其巨大的计算和内存需求，在移动设备上的部署仍然面临挑战。虽然已经开发出轻量级LLMs以适应移动环境，但其模型准确性往往下降。针对这一问题，本文提出了Neuralink，一种通过优化闪存中的神经元布局来加速智能手机上LLM推理的新方法。Neuralink利用神经元共激活的概念，将频繁共同激活的神经元链接，以促进连续读取访问并优化I/O效率。通过在多款智能手机和LLM上的评估，Neuralink在端到端延迟上实现了平均1.49倍的提升，探索了稀疏性驱动算法与存储级系统共同设计的新优化空间。
🔬 方法详解
问题定义：本文旨在解决在智能手机上部署大语言模型时，由于计算和内存需求高而导致的推理延迟问题。现有方法在稀疏性技术下，频繁的I/O操作限制了性能，尤其是在I/O操作每秒（IOPS）受限的智能手机上。
核心思路：Neuralink的核心思路是通过优化神经元在闪存中的布局，利用神经元共激活的特性，将频繁一起激活的神经元链接，以减少I/O操作并提高访问效率。
技术框架：Neuralink的整体架构分为两个阶段：离线阶段和在线阶段。离线阶段根据共激活模式重新组织神经元布局，在线阶段则采用定制的数据访问和缓存策略，以适应硬件特性。
关键创新：Neuralink是首个在稀疏性条件下优化存储布局的解决方案，探索了稀疏性驱动算法与存储系统共同设计的新优化空间，显著提高了推理效率。
关键设计：在设计中，Neuralink关注于神经元的共激活模式，采用特定的缓存策略和数据访问方式，以减少不必要的I/O操作，确保在有限的存储资源下实现高效推理。具体参数设置和损失函数的选择在实验中进行了优化。
🖼️ 关键图片
📊 实验亮点
Neuralink在多款智能手机上进行的评估显示，其在端到端延迟上实现了平均1.49倍的提升，相较于现有最先进技术具有显著优势。这一结果表明，Neuralink在优化存储和提高推理效率方面的有效性，为移动设备上的大语言模型应用提供了新的解决方案。
🎯 应用场景
Neuralink的研究成果具有广泛的应用潜力，尤其是在移动设备上运行大语言模型的场景中。其优化的存储布局和高效的I/O访问策略可以显著提升智能手机的AI应用性能，推动智能助手、实时翻译和个性化推荐等领域的发展，未来可能在更多智能设备中得到应用。
📄 摘要（原文）
Large Language Models (LLMs) have achieved remarkable success across various domains, yet deploying them on mobile devices remains an arduous challenge due to their extensive computational and memory demands. While lightweight LLMs have been developed to fit mobile environments, they suffer from degraded model accuracy. In contrast, sparsity-based techniques minimize DRAM usage by selectively transferring only relevant neurons to DRAM while retaining the full model in external storage, such as flash. However, such approaches are critically limited by numerous I/O operations, particularly on smartphones with severe IOPS constraints. In this paper, we propose Neuralink, a novel approach that accelerates LLM inference on smartphones by optimizing neuron placement in flash memory. Neuralink leverages the concept of Neuron Co-Activation, where neurons frequently activated together are linked to facilitate continuous read access and optimize I/O efficiency. Our approach incorporates a two-stage solution: an offline stage that reorganizes neuron placement based on co-activation patterns, and an online stage that employs tailored data access and caching strategies to align well with hardware characteristics. Evaluations conducted on a variety of smartphones and LLMs demonstrate that Neuralink achieves on average $1.49\times$ improvements in end-to-end latency compared to the state-of-the-art. As the first solution to optimize storage placement under sparsity, Neuralink explores a new optimization space at the intersection of sparsity-driven algorithm and storage-level system co-design for LLM inference.