DyRA: Dynamic Residual Approximation for Efficient Matrix Multiplication in DNNs

📄 arXiv: 2610.02882v1 📥 PDF

作者: Daewon Chae, Hyunwon Chung, Changwoo Lee, Hun-Seok Kim

分类: cs.LG, cs.AI

发布日期: 2026-10-02

备注: NeurIPS 2026. Code: https://github.com/daewon88/DyRA

💡 一句话要点

提出DyRA以解决深度神经网络中矩阵乘法效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 矩阵乘法 深度学习 高效计算 动态修正 低秩近似 推理优化 神经网络

📋 核心要点

  1. 现有方法主要通过近似权重矩阵来降低推理成本，但未能有效处理输出激活带来的误差放大问题。
  2. DyRA提出了一种动态修正输出误差的输入自适应方法，从而改善结构化矩阵乘法的近似效果。
  3. DyRA在DINOv3上实现了1.5倍的端到端GPU加速，同时相较于仅使用权重的基线，准确性下降幅度减少了3倍以上。

📝 摘要（中文）

大型基础模型在多种任务中表现出色，但其庞大的规模使得推理成本高，主要源于密集的矩阵乘法。现有方法通过用低秩分解等高效结构形式替代密集权重矩阵来降低成本，但这些方法主要是近似权重而非输出激活，导致小的权重空间误差可能被输入激活放大，从而产生较大的输出误差。本文提出DyRA，一种输入自适应的方法，通过在推理过程中修正残差输出误差来改善结构化矩阵乘法的近似。DyRA通过动态近似和修正由结构化权重近似引入的输出误差，结合高效的结构化计算与输入依赖的修正，在相同的计算预算下实现了更真实的全矩阵乘法近似。实验表明，DyRA在视觉、语音和语言模型上均显著改善了准确性与效率的权衡。

🔬 方法详解

问题定义：本文旨在解决深度神经网络中密集矩阵乘法的高推理成本问题。现有方法通过近似权重矩阵来降低计算复杂度，但未能有效处理由输入激活引起的输出误差放大，导致推理准确性下降。

核心思路：DyRA的核心思路是通过动态修正输出误差来改善结构化矩阵乘法的近似效果。该方法直接优化输出的低秩因子，从而在保持高效计算的同时，减少由权重近似引起的输出误差。

技术框架：DyRA的整体架构包括输入适应模块、动态近似模块和输出修正模块。输入适应模块根据输入特征动态调整近似策略，动态近似模块负责生成低秩因子，输出修正模块则实时修正输出误差。

关键创新：DyRA的主要创新在于其动态修正机制，能够根据输入特征自适应调整近似策略，与传统方法仅依赖静态权重近似的方式有本质区别。

关键设计：DyRA设计了特定的损失函数以优化输出的低秩因子，并采用了适应性学习率策略来提高训练效率。此外，网络结构中引入了残差连接以增强信息流动，进一步提升了模型的表现。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

DyRA在DINOv3模型上实现了1.5倍的端到端GPU加速，同时相较于仅使用权重的基线，准确性下降幅度减少了3倍以上。这表明DyRA在保持高效性的同时，显著提升了推理准确性，展示了其在实际应用中的巨大潜力。

🎯 应用场景

DyRA在视觉、语音和语言模型等多个领域具有广泛的应用潜力。通过提高矩阵乘法的效率，该方法能够显著降低推理时间和计算资源消耗，适用于实时推理和大规模模型部署场景。未来，DyRA有望推动更多高效深度学习模型的开发，促进人工智能技术的普及与应用。

📄 摘要（原文）

Large-scale foundation models achieve strong performance across diverse tasks, but their size makes inference costly, largely due to dense matrix multiplications. Prior work reduces this cost by replacing dense weight matrices with efficient structured forms such as low-rank factorizations. However, these methods approximate weights rather than the output activations that determine inference accuracy. Consequently, small weight-space errors can be amplified by input activations, producing large output errors. In this work, we propose DyRA, an input-adaptive method that improves structured matrix multiplication approximation by correcting residual output errors during inference. We show that matrix multiplication can be approximated more effectively by directly optimizing low-rank factors of the output. DyRA builds on this insight by dynamically approximating and correcting the output error introduced by structured weight approximations. This combines efficient structured computation with input-dependent correction, yielding a more faithful approximation of full matrix multiplication under the same computational budget. Across vision, speech, and language models, DyRA consistently improves the accuracy-efficiency trade-off over structured weight approximations alone. Notably, DyRA achieves a 1.5$\times$ end-to-end GPU speedup for DINOv3 while reducing accuracy degradation by more than 3$\times$ relative to weight-only baselines.