SSR: Sparse Segment Reduction for Ternary GEMM Acceleration

📄 arXiv: 2610.08403v1 📥 PDF

作者: Adeline Pittet, Shien Zhu, Valérie Verdan, Gustavo Alonso

分类: cs.LG

发布日期: 2026-10-06

备注: Published in the Proceedings of the Design, Automation & Test in Europe Conference (DATE 2026)

期刊: 2026 Design, Automation & Test in Europe Conference (DATE), pp. 1-7, 2026

DOI: 10.23919/DATE69613.2026.11539457

💡 一句话要点

提出稀疏段减少方法以加速三元GEMM运算

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 三元量化 稀疏计算 矩阵乘法 推理加速 大型语言模型 计算效率 深度学习

📋 核心要点

  1. 现有方法未能充分利用三元权重的稀疏结构，导致计算效率低下。
  2. 本文提出的SSR方法通过优化三元数据格式和利用稀疏模式，显著提升了推理速度。
  3. 实验结果表明，SSR在多种稀疏性水平上均优于RSR++，实现了显著的加速和内存节省。

📝 摘要（中文）

大型语言模型（LLMs）需要大量计算资源，限制了其在资源受限硬件上的部署。三元LLMs通过权重量化为三元值来缓解这些需求，通常实现50-90%的稀疏性。然而，现有方法如BitNet、冗余段减少（RSR）及其改进版RSR++未能充分利用稀疏结构，而传统稀疏格式则忽视了三元特性，错失了双重优化机会。本文提出了稀疏段减少（SSR）方法，旨在加速三元LLMs和一般三元权重网络（TWN）的推理。SSR具有专门优化的三元数据格式和算法，系统性地利用稀疏模式，通过与稀疏性成比例的计算树进行加速。理论上，SSR在稀疏性超过50%时比RSR++具有渐进式更快的推理速度，实际评估显示在所有稀疏性水平上均有性能提升。评估结果表明，SSR在45-95%稀疏的三元GEMM上比RSR++实现了2.1-11.3倍的加速，并在Llama-3 1B模型推理上实现了3.5-6.3倍的端到端加速和4.9%的内存节省。

🔬 方法详解

问题定义：本文旨在解决现有三元GEMM加速方法未能充分利用稀疏结构的问题，导致计算效率低下。现有方法如RSR++在高稀疏性情况下表现不佳。

核心思路：SSR方法通过设计专门的三元数据格式和算法，系统性地利用稀疏模式，构建计算树以提高推理速度。这样的设计使得计算能够更好地适应稀疏性，从而提升整体性能。

技术框架：SSR的整体架构包括数据格式优化、稀疏模式识别和计算树构建三个主要模块。首先，优化三元数据格式以适应稀疏性；其次，通过算法识别稀疏模式；最后，构建计算树以实现高效的矩阵乘法。

关键创新：SSR的核心创新在于其专门的三元数据格式和利用稀疏模式的计算树设计。这与现有方法的本质区别在于，SSR能够在高稀疏性情况下实现更快的推理速度，而不是简单地依赖于传统的稀疏格式。

关键设计：SSR在参数设置上进行了优化，确保在高稀疏性下仍能保持计算效率。此外，算法设计中考虑了稀疏性对计算树的影响，以实现更高效的矩阵乘法操作。具体的损失函数和网络结构细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，SSR在45-95%稀疏的三元GEMM上实现了2.1-11.3倍的加速，相较于RSR++表现出显著的性能提升。此外，在Llama-3 1B模型推理中，SSR实现了3.5-6.3倍的端到端加速和4.9%的内存节省，证明了其在实际应用中的有效性。

🎯 应用场景

该研究的潜在应用领域包括大型语言模型的推理加速，尤其是在资源受限的硬件环境中。SSR方法的高效性使其在边缘计算、移动设备和云计算等场景中具有实际价值，能够推动更广泛的AI应用落地。未来，SSR的设计理念也可能影响其他领域的稀疏计算方法。

📄 摘要（原文）

Large Language Models (LLMs) require substantial computational resources, limiting their deployment on resource-constrained hardware. Ternary LLMs mitigate these demands through weight quantization via ternary values, achieving significant compression often with 50-90% sparsity. However, existing approaches have limitations: methods optimized for ternary weights, such as BitNet, redundant segment reduction (RSR), and its improved version RSR++, do not exploit sparsity structures, while conventional sparse formats neglect ternary characteristics, foregoing dual optimization opportunities. In this paper, we introduce Sparse Segment Reduction (SSR), a ternary matrix multiplication method designed to accelerate the inference of ternary LLMs and general Ternary Weight Networks (TWNs). SSR has a dedicated optimized ternary data format and an algorithm that systematically exploits sparsity patterns through computation trees that scale with the sparsity. SSR provides theoretical gains with asymptotically faster inference than RSR++ for sparsity above 50%, while practical evaluations reveal performance improvements across all sparsity levels. Evaluation results show that SSR achieves 2.1-11.3x speedup over RSR++ on ternary GEMM with 45-95% sparsity. Furthermore, SSR achieves 3.5-6.3x end-to-end speedup and 4.9% of memory saving over RSR++ on the Llama-3 1B model inference.