Dataset Distillation Efficiently Encodes Low-Dimensional Representations from Gradient-Based Learning of Non-Linear Tasks

📄 arXiv: 2603.14830v1 📥 PDF

作者: Yuri Kinoshita, Naoki Nishikawa, Taro Toyoizumi

分类: cs.LG, stat.ML

发布日期: 2026-03-16

💡 一句话要点

理论分析数据集蒸馏，揭示梯度学习非线性任务的低维表征高效编码

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 数据集蒸馏 梯度学习 非线性任务 低维表征 多指标模型

📋 核心要点

  1. 数据集蒸馏旨在压缩训练数据，但其有效性背后的机制尚不明确，尤其是在非线性任务中。
  2. 本文通过分析梯度学习两层神经网络在多指标模型上的数据集蒸馏，揭示了低维结构的高效编码。
  3. 理论分析表明，该方法能够以较低的内存复杂度实现高泛化能力，为数据集蒸馏提供了理论支撑。

📝 摘要（中文）

数据集蒸馏作为一种训练感知的数据压缩技术，近年来因其在降低优化和数据存储成本方面的有效性而备受关注。然而，相关进展在很大程度上仍是经验性的。从训练过程中提取任务相关信息并将这些信息高效编码到合成数据点中的机制仍然难以捉摸。本文从理论上分析了应用于宽度为$L$的两层神经网络梯度训练的数据集蒸馏的实用算法。通过关注一种称为多指标模型的非线性任务结构，我们证明了问题的低维结构被有效地编码到生成的蒸馏数据中。该数据集能够复现具有高泛化能力的模型，所需的内存复杂度为$ ildeΘ$$(r^2d+L)$，其中$d$和$r$分别是任务的输入维度和内在维度。据我们所知，这是首批包含特定任务结构、利用其内在维度来量化压缩率并研究仅通过基于梯度的算法实现的数据集蒸馏的理论工作之一。

🔬 方法详解

问题定义：数据集蒸馏旨在通过少量合成数据点来近似原始训练集，从而降低训练成本和存储需求。然而，现有方法缺乏对非线性任务中信息提取和编码机制的理论理解，导致压缩效率和泛化能力受限。特别是，如何利用任务的内在维度来实现更有效的压缩仍然是一个挑战。

核心思路：本文的核心思路是针对具有低维结构（多指标模型）的非线性任务，分析梯度下降算法在数据集蒸馏中的行为。通过理论分析，揭示任务的低维结构如何被有效地编码到蒸馏数据中，从而实现高效的数据压缩和良好的泛化性能。这种方法旨在弥合数据集蒸馏的理论分析与实际应用之间的差距。

技术框架：本文主要采用理论分析的方法。首先，定义了一个多指标模型作为研究对象，该模型具有明确的低维结构。然后，分析了梯度下降算法在数据集蒸馏过程中对该模型的学习行为。通过数学推导，证明了蒸馏数据集能够有效地捕捉到原始数据的低维信息。最后，基于理论分析结果，给出了蒸馏数据集所需的内存复杂度，并验证了其泛化能力。

关键创新：本文最重要的技术创新在于，它首次从理论上分析了梯度学习非线性任务（多指标模型）的数据集蒸馏过程，并揭示了低维结构的高效编码机制。与以往的经验性研究不同，本文提供了一个理论框架，用于理解数据集蒸馏的内在原理，并指导算法设计。此外，本文还利用任务的内在维度来量化压缩率，为数据集蒸馏的性能评估提供了一个新的视角。

关键设计：本文的关键设计在于选择多指标模型作为研究对象，该模型具有明确的低维结构，便于进行理论分析。此外，本文还关注梯度下降算法在数据集蒸馏中的行为，并分析了学习率、迭代次数等参数对蒸馏效果的影响。损失函数通常采用原始数据集和蒸馏数据集上模型输出的差异来衡量，目标是最小化这种差异，从而使蒸馏数据集能够代表原始数据集。

📊 实验亮点

本文的理论分析表明，对于具有内在维度为$r$、输入维度为$d$的多指标模型，数据集蒸馏能够以$ ildeΘ$$(r^2d+L)$的内存复杂度复现具有高泛化能力的模型，其中$L$是神经网络的宽度。这一结果表明，数据集蒸馏能够有效地利用任务的低维结构来实现高效的数据压缩。

🎯 应用场景

该研究成果可应用于资源受限的机器学习场景，例如边缘计算设备、移动设备等。通过数据集蒸馏，可以在这些设备上使用更小的训练数据集，从而降低计算和存储成本。此外，该研究还可以用于数据隐私保护，通过蒸馏生成合成数据，避免直接使用原始敏感数据。

📄 摘要（原文）

Dataset distillation, a training-aware data compression technique, has recently attracted increasing attention as an effective tool for mitigating costs of optimization and data storage. However, progress remains largely empirical. Mechanisms underlying the extraction of task-relevant information from the training process and the efficient encoding of such information into synthetic data points remain elusive. In this paper, we theoretically analyze practical algorithms of dataset distillation applied to the gradient-based training of two-layer neural networks with width $L$. By focusing on a non-linear task structure called multi-index model, we prove that the low-dimensional structure of the problem is efficiently encoded into the resulting distilled data. This dataset reproduces a model with high generalization ability for a required memory complexity of $\tildeΘ$$(r^2d+L)$, where $d$ and $r$ are the input and intrinsic dimensions of the task. To the best of our knowledge, this is one of the first theoretical works that include a specific task structure, leverage its intrinsic dimensionality to quantify the compression rate and study dataset distillation implemented solely via gradient-based algorithms.