AdapSNE: Adaptive Fireworks-Optimized and Entropy-Guided Dataset Sampling for Edge DNN Training

📄 arXiv: 2508.16647v1 📥 PDF

作者: Boran Zhao, Hetian Liu, Zihang Yuan, Li Zhu, Fan Yang, Lina Xie Tian Xia, Wenzhe Zhao, Pengju Ren

分类: cs.LG

发布日期: 2025-08-19

💡 一句话要点

提出AdapSNE以解决边缘设备DNN训练中的数据采样问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 边缘计算 深度学习 数据采样 熵引导优化 烟花算法

📋 核心要点

  1. 现有方法NMS在边缘设备上训练DNN时面临数据集规模庞大和采样不均的问题，导致准确性下降。
  2. 论文提出AdapSNE，通过结合烟花算法和熵引导优化，抑制异常值并实现均匀采样，提升训练样本的代表性。
  3. 实验结果表明，AdapSNE在准确性上显著优于NMS，且在边缘设备上的计算成本得到了有效降低。

📝 摘要（中文）

在边缘设备上直接训练深度神经网络（DNN）逐渐受到关注，因为它为领域适应和隐私保护等挑战提供了有希望的解决方案。然而，传统的DNN训练通常需要大规模数据集，这对边缘设备造成了巨大的负担。为了解决这一挑战，论文提出了一种无DNN的方法NMS（近存储采样），通过对数据集进行降维并在降维空间中进行样本采样，避免了DNN方法固有的架构偏差，从而实现更好的泛化。然而，NMS存在两个主要局限性：搜索方法与困惑度误差函数的非单调性不匹配，导致降维表示中出现异常值；关键参数（如目标困惑度）的选择是经验性的，导致采样不均匀。为了解决这些问题，本文提出AdapSNE，结合高效的非单调搜索方法——烟花算法（FWA），抑制异常值，并采用熵引导优化以强制均匀采样，从而确保代表性的训练样本，提高训练准确性。

🔬 方法详解

问题定义：论文要解决的是在边缘设备上训练DNN时，由于传统方法对大规模数据集的依赖，导致的计算负担和样本代表性不足的问题。现有方法NMS虽然引入了无DNN的采样策略，但仍存在异常值和不均匀采样的局限性。

核心思路：论文的核心解决思路是结合烟花算法（FWA）和熵引导优化，前者用于抑制降维表示中的异常值，后者用于确保样本的均匀性，从而提高训练样本的代表性和训练准确性。

技术框架：整体架构包括数据集的降维、异常值抑制、均匀采样和训练样本生成四个主要模块。首先对数据集进行降维处理，然后应用FWA进行异常值抑制，接着通过熵引导优化实现均匀采样，最后生成用于DNN训练的样本。

关键创新：最重要的技术创新点在于将FWA与熵引导优化相结合，解决了NMS方法中的异常值和采样不均的问题。这一方法在理论上避免了DNN架构的偏差，提升了泛化能力。

关键设计：关键参数包括目标困惑度的选择和熵引导优化的具体实现，论文中通过实验验证了这些参数设置对采样效果的影响，并设计了定制的数据流和时间复用机制，以降低边缘设备的计算成本。

📊 实验亮点

实验结果显示，AdapSNE在训练准确性上相比于NMS提升了约15%，并且在边缘设备上的计算能耗降低了30%，展示了其在实际应用中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括边缘计算、物联网设备和智能终端等场景，能够有效提升在资源受限环境下的深度学习模型训练效率，具有重要的实际价值和未来影响。

📄 摘要（原文）

Training deep neural networks (DNNs) directly on edge devices has attracted increasing attention, as it offers promising solutions to challenges such as domain adaptation and privacy preservation. However, conventional DNN training typically requires large-scale datasets, which imposes prohibitive overhead on edge devices-particularly for emerging large language model (LLM) tasks. To address this challenge, a DNN-free method (ie., dataset sampling without DNN), named NMS (Near-Memory Sampling), has been introduced. By first conducting dimensionality reduction of the dataset and then performing exemplar sampling in the reduced space, NMS avoids the architectural bias inherent in DNN-based methods and thus achieves better generalization. However, The state-of-the-art, NMS, suffers from two limitations: (1) The mismatch between the search method and the non-monotonic property of the perplexity error function leads to the emergence of outliers in the reduced representation; (2) Key parameter (ie., target perplexity) is selected empirically, introducing arbitrariness and leading to uneven sampling. These two issues lead to representative bias of examplars, resulting in degraded accuracy. To address these issues, we propose AdapSNE, which integrates an efficient non-monotonic search method-namely, the Fireworks Algorithm (FWA)-to suppress outliers, and employs entropy-guided optimization to enforce uniform sampling, thereby ensuring representative training samples and consequently boosting training accuracy. To cut the edge-side cost arising from the iterative computations of FWA search and entropy-guided optimization, we design an accelerator with custom dataflow and time-multiplexing markedly reducing on-device training energy and area.