From Tiny Machine Learning to Tiny Deep Learning: A Survey
作者: Shriyank Somvanshi, Md Monzurul Islam, Gaurab Chhetri, Rohit Chakraborty, Mahmuda Sultana Mimi, Sawgat Ahmed Shuvo, Kazi Sifatul Islam, Syed Aaqib Javed, Sharif Ahmed Rafat, Anandi Dutta, Subasish Das
分类: cs.LG
发布日期: 2025-06-21 (更新: 2025-06-25)
期刊: ACM CS 2025
DOI: 10.1145/3776588
💡 一句话要点
综述TinyML到TinyDL的演进：边缘AI的架构、优化与应用
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: TinyML TinyDL 边缘计算 模型优化 深度学习
📋 核心要点
- 现有TinyML方法难以在资源受限设备上部署复杂的深度学习模型，限制了边缘AI的应用。
- 该综述全面分析TinyML到TinyDL的演进，涵盖硬件、软件、模型优化和应用等多个方面。
- 总结了TinyDL在计算机视觉、音频识别等领域的应用，并展望了神经形态计算等未来方向。
📝 摘要（中文）
边缘设备的快速增长推动了边缘人工智能（AI）部署的需求，从而产生了TinyML及其不断发展的对应物TinyDL。TinyML最初侧重于在微控制器上实现简单的推理任务，而TinyDL的出现标志着向在资源严重受限的硬件上部署深度学习模型的范式转变。本综述全面概述了从TinyML到TinyDL的过渡，包括架构创新、硬件平台、模型优化技术和软件工具链。我们分析了量化、剪枝和神经架构搜索（NAS）方面的最新方法，并考察了从MCU到专用神经加速器的硬件趋势。此外，我们对软件部署框架、编译器和AutoML工具进行了分类，从而实现了实际的设备端学习。回顾了计算机视觉、音频识别、医疗保健和工业监控等领域的应用，以说明TinyDL的实际影响。最后，我们确定了包括神经形态计算、联邦TinyDL、边缘原生基础模型和特定领域协同设计方法在内的新兴方向。本综述旨在为研究人员和从业人员提供基础资源，提供对生态系统的整体视图，并为边缘AI的未来发展奠定基础。
🔬 方法详解
问题定义：TinyML虽然能在资源受限的设备上运行，但其模型复杂度有限，无法满足日益增长的边缘智能需求。现有方法难以在极低的功耗和存储空间下部署高性能的深度学习模型，存在模型优化、硬件加速和软件支持等方面的挑战。
核心思路：该综述的核心在于系统性地梳理TinyML向TinyDL演进的关键技术，包括模型压缩、硬件加速和软件工具链。通过分析不同方法的优缺点，为研究人员和工程师提供选择合适TinyDL方案的指导。
技术框架：该综述首先介绍了TinyML和TinyDL的概念和区别，然后分别从硬件平台、模型优化技术和软件工具链三个方面进行详细阐述。硬件平台部分涵盖了MCU、专用神经加速器等；模型优化技术部分包括量化、剪枝和神经架构搜索；软件工具链部分则涉及部署框架、编译器和AutoML工具。最后，综述还探讨了TinyDL在各个领域的应用以及未来的发展方向。
关键创新：该综述的创新之处在于其全面性和系统性。它不仅涵盖了TinyDL的各个关键技术，还分析了这些技术之间的相互关系和发展趋势。此外，综述还对TinyDL的应用前景进行了展望，为未来的研究提供了思路。
关键设计：综述中涉及的关键设计包括：不同量化方法的精度和效率对比；不同剪枝策略对模型性能的影响；神经架构搜索在TinyDL中的应用；各种硬件平台的性能指标和功耗；不同软件工具链的易用性和功能。
🖼️ 关键图片
📊 实验亮点
该综述总结了TinyDL在多个领域的应用，例如在计算机视觉领域，TinyDL可以用于图像分类、目标检测等任务；在音频识别领域，TinyDL可以用于语音识别、关键词检测等任务。综述还分析了不同模型优化技术对模型性能的影响，例如量化可以将模型大小减少数倍，同时保持较高的精度。
🎯 应用场景
TinyDL技术在物联网、可穿戴设备、智能家居、工业监控和医疗健康等领域具有广泛的应用前景。例如，在可穿戴设备上实现心率监测和异常检测，在智能家居中进行语音识别和控制，在工业监控中进行设备故障诊断等。TinyDL能够将AI能力带到边缘设备，实现更快速、更安全、更可靠的智能服务。
📄 摘要（原文）
The rapid growth of edge devices has driven the demand for deploying artificial intelligence (AI) at the edge, giving rise to Tiny Machine Learning (TinyML) and its evolving counterpart, Tiny Deep Learning (TinyDL). While TinyML initially focused on enabling simple inference tasks on microcontrollers, the emergence of TinyDL marks a paradigm shift toward deploying deep learning models on severely resource-constrained hardware. This survey presents a comprehensive overview of the transition from TinyML to TinyDL, encompassing architectural innovations, hardware platforms, model optimization techniques, and software toolchains. We analyze state-of-the-art methods in quantization, pruning, and neural architecture search (NAS), and examine hardware trends from MCUs to dedicated neural accelerators. Furthermore, we categorize software deployment frameworks, compilers, and AutoML tools enabling practical on-device learning. Applications across domains such as computer vision, audio recognition, healthcare, and industrial monitoring are reviewed to illustrate the real-world impact of TinyDL. Finally, we identify emerging directions including neuromorphic computing, federated TinyDL, edge-native foundation models, and domain-specific co-design approaches. This survey aims to serve as a foundational resource for researchers and practitioners, offering a holistic view of the ecosystem and laying the groundwork for future advancements in edge AI.