AgentDP: Towards Automated Model Deployment for Heterogeneous Embedded AI Applications

📄 arXiv: 2610.30760v1 📥 PDF

作者: Leming Shen, Qiang Yang, Xinyu Huang, Zijing Ma, Yuanqing Zheng

分类: cs.AI

发布日期: 2026-10-22

💡 一句话要点

提出AgentDP以解决异构嵌入式AI应用的自动化模型部署问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 异构嵌入式AI 模型优化 自动化部署 大型语言模型 用户需求标准化 模型分区 超参数重用

📋 核心要点

  1. 现有方法在异构嵌入式设备上部署AI模型时，面临人工干预多、效率低下和适配困难等挑战。
  2. 论文提出的AgentDP通过LLM代理实现模型优化和适配的全自动化，显著降低人工干预需求。
  3. 实验结果显示，AgentDP将模型适配时间减少了80%，并在任务准确率上平均提升了13%以上，展现出良好的适应性。

📝 摘要（中文）

本文提出了AgentDP，旨在通过大型语言模型（LLM）代理全自动化模型优化和适配（O&A），在异构嵌入式设备上部署预训练的AI模型。AgentDP不仅显著减少了人工干预，还通过将LLM与设备特定领域知识相结合，提高了模型推理效率。为实现强大的自动化框架，AgentDP开发了三项关键技术解决方案：1）用户需求标准化模块，帮助用户明确需求；2）操作符感知模型分区范式，缓解AI模型与异构嵌入式设备之间的执行环境不匹配；3）配置重用模块，避免为新任务重新搜索优化超参数。大量实验表明，AgentDP通过全自动化O&A过程，将整个模型适配时间减少了多达80%，同时任务准确率平均提高了13%以上。

🔬 方法详解

问题定义：本文旨在解决在异构嵌入式设备上部署预训练AI模型时，人工干预多、效率低下和适配困难等问题。现有方法往往需要大量手动调整，导致时间和资源的浪费。

核心思路：AgentDP的核心思路是利用大型语言模型（LLM）代理实现模型优化和适配的全自动化，结合设备特定的领域知识，以提高模型推理效率和适应性。

技术框架：AgentDP的整体架构包括三个主要模块：用户需求标准化模块、操作符感知模型分区模块和配置重用模块。用户需求标准化模块帮助用户明确需求，操作符感知模块解决模型与设备间的执行环境不匹配，而配置重用模块则通过检索历史超参数配置来提高效率。

关键创新：AgentDP的关键创新在于其全自动化的O&A过程，特别是操作符感知模型分区和配置重用模块，这些设计使得不同部分的模型能够在不同的推理引擎上高效执行，显著提升了适配效率。

关键设计：在设计上，AgentDP采用了标准化的用户需求输入格式，确保用户需求的清晰性；同时，模型分区策略基于操作符的特性进行优化，确保在异构设备上高效执行。配置重用模块则通过启发式方法快速检索以往的超参数配置，避免了重复搜索。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AgentDP通过全自动化的O&A过程，将模型适配时间减少了多达80%，同时在任务准确率上平均提升了13%以上，相较于基线方法表现出显著的优势。这些结果验证了AgentDP在实际应用中的有效性和可靠性。

🎯 应用场景

AgentDP的研究成果在多个领域具有广泛的应用潜力，尤其是在智能家居、工业自动化和物联网等异构嵌入式AI应用中。通过自动化模型部署，能够显著降低开发成本，提高系统的响应速度和准确性，推动智能设备的普及与发展。

📄 摘要（原文）

This paper presents AgentDP, which aims to deploy pre-trained AI models on heterogeneous embedded devices by fully automating model optimization and adaptation (O&A) with Large Language Model (LLM) agents. AgentDP not only significantly reduces human effort via automation but also enhances model inference efficacy by integrating LLMs with device-specific domain knowledge. To deliver a robust automation framework, AgentDP develops novel solutions to address three key technical challenges: 1) To help users elicit clear requirements, we propose a user requirement standardization module; 2) To mitigate the execution environment mismatch between AI models and heterogeneous embedded devices, we design an operator-aware model partition paradigm that enables different parts of the model to be efficiently executed on distinct inference engines. 3) To avoid re-searching optimization hyperparameters for new tasks, we propose a configuration reuse module that heuristically retrieves previous hyperparameter configurations for efficient reuse. Extensive experiments demonstrate that by fully automating the entire O&A process, AgentDP reduces entire model adaptation time by up to 80% compared with manual O&A while achieving higher task accuracy (more than 13% on average) than the baselines. Additionally, a comprehensive user study also exhibits the robust generalizability of AgentDP in adapting to different user requirements for heterogeneous embedded devices.