RMT-KD: Random Matrix Theoretic Causal Knowledge Distillation

📄 arXiv: 2509.15724v3 📥 PDF

作者: Davide Ettori, Nastaran Darabi, Sureshkumar Senthilkumar, Amit Ranjan Trivedi

分类: cs.LG

发布日期: 2025-09-19 (更新: 2025-09-29)

备注: 5 pages, submitted to ICASSP 2026, September 2025

💡 一句话要点

RMT-KD：提出基于随机矩阵理论的因果知识蒸馏方法，用于深度学习模型压缩。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 知识蒸馏 模型压缩 随机矩阵理论 深度学习 边缘计算

📋 核心要点

  1. 大型深度学习模型部署成本高昂，现有剪枝或排序方法缺乏理论依据。
  2. RMT-KD利用随机矩阵理论，通过谱分析识别并保留信息量大的方向，实现模型压缩。
  3. 实验表明，RMT-KD在保证精度的情况下，显著减少参数量，提升推理速度并降低功耗。

📝 摘要（中文）

本文提出了一种名为RMT-KD的压缩方法，该方法利用随机矩阵理论（RMT）进行知识蒸馏，以迭代方式减小网络规模。RMT-KD不采用剪枝或启发式排序选择，而是仅保留通过隐藏表示的谱特性识别出的信息方向。基于RMT的因果缩减逐层应用，并结合自蒸馏以维持稳定性和准确性。在GLUE、AG News和CIFAR-10数据集上，RMT-KD实现了高达80%的参数缩减，同时仅损失2%的准确率，并实现了2.8倍的推理速度提升和近一半的功耗降低。这些结果表明，RMT-KD是一种具有数学基础的网络蒸馏方法。

🔬 方法详解

问题定义：现有的大型深度学习模型，如BERT和ResNet，虽然性能优异，但由于其庞大的规模和计算需求，难以在边缘设备上部署。传统的模型压缩方法，如剪枝和启发式排序选择，缺乏坚实的理论基础，可能导致信息损失和性能下降。因此，需要一种更具理论依据且高效的模型压缩方法。

核心思路：RMT-KD的核心思路是利用随机矩阵理论（RMT）来分析和压缩深度神经网络的隐藏层表示。RMT提供了一种从高维数据中提取重要信息的数学框架。通过分析隐藏层表示的谱特性，RMT-KD能够识别出包含关键信息的方向，并保留这些方向，从而在减少模型参数的同时，尽可能地保留模型的性能。

技术框架：RMT-KD的整体框架包括以下几个主要步骤：1) 对于网络的每一层，计算其隐藏层表示的协方差矩阵。2) 对协方差矩阵进行谱分析，得到其特征值和特征向量。3) 基于RMT的理论，识别出包含重要信息的特征向量（即信息方向）。4) 保留这些信息方向，并丢弃其余方向，从而实现对该层的压缩。5) 使用自蒸馏技术，将原始模型的知识迁移到压缩后的模型，以维持模型的准确性。这个过程是逐层进行的，确保每一层都得到有效的压缩。

关键创新：RMT-KD的关键创新在于将随机矩阵理论应用于知识蒸馏，从而实现更具理论依据的模型压缩。与传统的剪枝或启发式排序选择方法不同，RMT-KD通过谱分析来识别和保留信息量大的方向，避免了盲目地删除参数可能导致的信息损失。此外，RMT-KD采用逐层压缩和自蒸馏相结合的方式，进一步提高了压缩效率和模型性能。

关键设计：RMT-KD的关键设计包括：1) 使用协方差矩阵的谱分析来识别信息方向。2) 基于RMT的特征值分布理论，确定保留多少个特征向量。3) 使用自蒸馏技术，通过最小化原始模型和压缩模型的输出差异，将知识从原始模型迁移到压缩模型。具体的损失函数包括交叉熵损失和KL散度损失。对于每一层，需要确定一个阈值，用于选择保留的特征向量数量。这个阈值可以根据RMT的理论进行自适应调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RMT-KD在GLUE、AG News和CIFAR-10数据集上取得了显著的压缩效果。在这些数据集上，RMT-KD实现了高达80%的参数缩减，同时仅损失2%的准确率。此外，RMT-KD还实现了2.8倍的推理速度提升和近一半的功耗降低。这些结果表明，RMT-KD是一种高效且有效的模型压缩方法，能够在保证模型性能的同时，显著降低模型的资源需求。

🎯 应用场景

RMT-KD具有广泛的应用前景，尤其适用于资源受限的边缘设备，如移动电话、物联网设备和嵌入式系统。通过压缩大型深度学习模型，RMT-KD可以降低模型的存储需求、计算复杂度和功耗，从而使得这些模型能够在边缘设备上高效部署和运行。此外，RMT-KD还可以应用于云计算和数据中心，以降低模型的部署成本和提高资源利用率。

📄 摘要（原文）

Large deep learning models such as BERT and ResNet achieve state-of-the-art performance but are costly to deploy at the edge due to their size and compute demands. We present RMT-KD, a compression method that leverages Random Matrix Theory (RMT) for knowledge distillation to iteratively reduce network size. Instead of pruning or heuristic rank selection, RMT-KD preserves only informative directions identified via the spectral properties of hidden representations. RMT-based causal reduction is applied layer by layer with self-distillation to maintain stability and accuracy. On GLUE, AG News, and CIFAR-10, RMT-KD achieves up to 80% parameter reduction with only 2% accuracy loss, delivering 2.8x faster inference and nearly halved power consumption. These results establish RMT-KD as a mathematically grounded approach to network distillation.