Tiny but Mighty: A Software-Hardware Co-Design Approach for Efficient Multimodal Inference on Battery-Powered Small Devices

📄 arXiv: 2510.05109v3 📥 PDF

作者: Yilong Li, Shuai Zhang, Yijing Zeng, Hao Zhang, Xinmiao Xiong, Jingyu Liu, Pan Hu, Suman Banerjee

分类: cs.DC, cs.AI, cs.CL, eess.SP

发布日期: 2025-09-25 (更新: 2025-12-01)

💡 一句话要点

NANOMIND：软硬件协同设计，提升电池供电小型设备上多模态推理效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 软硬件协同设计 边缘计算 低功耗 模型优化 异构计算 动态调度

📋 核心要点

  1. 现有LMMs通常以单体方式执行，未能充分利用异构加速器，导致端到端延迟高。
  2. NANOMIND将LMM分解为模块化组件，动态调度到最合适的加速器上，实现高效推理。
  3. 实验表明，NANOMIND能显著降低能耗和内存占用，使电池供电设备长时间运行LMM。

📝 摘要（中文）

本文提出NANOMIND，一个针对大型多模态模型（LMMs）的软硬件协同设计推理框架。该框架将大型模型分解为模块化的“砖块”（视觉、语言、音频等），并将每个模块映射到其理想的加速器上。核心思想是将大型模型分解为模块化组件，并调度它们在最合适的计算单元上运行。NANOMIND在统一内存的SoC上执行跨加速器的模块级动态卸载。通过结合定制的硬件设计、系统级调度和优化的低比特计算内核，我们展示了一个紧凑的电池供电设备，能够完全在设备上运行LMM。该原型作为一个独立的智能助手，无需网络连接，同时在严格的资源约束下实现更高的吞吐量和卓越的电源效率。该设计进一步通过令牌感知缓冲区管理和模块级协调，绕过CPU瓶颈并减少冗余内存使用。我们的系统在资源效率方面优于现有实现，降低了42.3%的能耗和11.2%的GPU内存使用。这使得电池供电设备能够使用摄像头运行LLaVA-OneVision近20.8小时。

🔬 方法详解

问题定义：现有的大型多模态模型（LMMs）通常以单体形式运行，没有充分利用现代SoC中异构加速器（如NPUs、GPUs、DSPs）的优势。这导致了较高的端到端延迟和能源消耗，限制了LMM在资源受限的电池供电小型设备上的应用。现有方法未能有效地将LMM的不同模块映射到最适合的硬件加速器上，造成了计算资源的浪费和性能瓶颈。

核心思路：NANOMIND的核心思路是将大型多模态模型分解为模块化的“砖块”（例如，视觉编码器、语言模型、音频编码器等），然后根据每个模块的计算特性，将其动态地调度到最合适的硬件加速器上执行。这种模块化的方法允许系统充分利用SoC中不同加速器的优势，从而提高整体的推理效率和降低功耗。此外，NANOMIND还通过令牌感知缓冲区管理和模块级协调，减少了CPU的参与和冗余内存的使用。

技术框架：NANOMIND的整体框架包括以下几个主要模块：1) 模型分解模块：将LMM分解为独立的、可执行的模块；2) 硬件资源管理模块：负责管理SoC中的各种加速器资源，并评估每个模块在不同加速器上的执行效率；3) 调度器：根据硬件资源管理模块的评估结果，动态地将模块调度到最合适的加速器上执行；4) 内存管理模块：通过令牌感知缓冲区管理，减少内存占用和数据传输开销；5) 运行时环境：提供模块间通信和同步机制，确保LMM的正确执行。

关键创新：NANOMIND的关键创新在于其软硬件协同设计的方法，它不仅优化了软件层面的模型分解和调度策略，还考虑了硬件加速器的特性，实现了模块到加速器的最佳映射。此外，令牌感知缓冲区管理和模块级协调机制有效地减少了CPU瓶颈和冗余内存使用，进一步提升了系统的整体性能。与现有方法相比，NANOMIND能够更有效地利用异构计算资源，从而在资源受限的设备上实现高效的LMM推理。

关键设计：NANOMIND的关键设计包括：1) 定制的硬件加速器接口，允许软件层面的调度器能够灵活地控制硬件加速器的执行；2) 低比特量化技术，用于降低模型的大小和计算复杂度，从而减少功耗；3) 动态电压和频率调整（DVFS）技术，根据模块的计算需求，动态地调整硬件加速器的电压和频率，以进一步降低功耗；4) 模块间的通信机制，采用零拷贝技术，减少数据传输的开销。

📊 实验亮点

NANOMIND在资源效率方面显著优于现有实现，能耗降低了42.3%，GPU内存使用降低了11.2%。在一个电池供电设备上，NANOMIND能够支持LLaVA-OneVision模型与摄像头连续运行近20.8小时。这些实验结果表明，NANOMIND能够有效地解决LMM在资源受限设备上的部署问题，并为开发高性能、低功耗的边缘计算应用提供了有力的支持。

🎯 应用场景

NANOMIND适用于各种电池供电的小型设备，如智能眼镜、智能手表、智能家居设备和移动机器人等。它使得这些设备能够在本地运行复杂的LMM，实现无需网络连接的智能助手功能，例如实时图像识别、语音控制和自然语言理解。该研究有助于推动LMM在边缘计算领域的应用，并为开发更智能、更节能的嵌入式系统提供新的思路。

📄 摘要（原文）

Large Multimodal Models (LMMs) are inherently modular, consisting of vision and audio encoders, projectors, and large language models. Yet, they are almost always executed monolithically, which underutilizes the heterogeneous accelerators (NPUs, GPUs, DSPs) in modern SoCs and leads to high end-to-end latency. In this paper, we present NANOMIND, a hardware--software co-design inference framework for Large Multimodal Models (LMMs) that breaks large models into modular ``bricks'' (vision, language, audio, etc.) and maps each to its ideal accelerator. The key insight is that large models can be broken into modular components and scheduled to run on the most appropriate compute units. It performs module-level dynamic offloading across accelerators on unified-memory SoCs. By combining customized hardware design, system-level scheduling, and optimized low-bit computation kernels, we demonstrate our framework with a compact, battery-powered device capable of running LMMs entirely on device. This prototype functions as a self-contained intelligent assistant that requires no network connectivity, while achieving higher throughput and superior power efficiency under strict resource constraints. The design further bypasses CPU bottlenecks and reduces redundant memory usage through token-aware buffer management and module-level coordination. Our system outperforms existing implementations in resource efficiency, cutting energy consumption by 42.3\% and GPU memory usage by 11.2\%. This enables a battery-powered device to run LLaVA-OneVision with a camera for nearly 20.8 hours.