Responsive DNN Adaptation for Video Analytics against Environment Shift via Hierarchical Mobile-Cloud Collaborations

📄 arXiv: 2505.00745v1 📥 PDF

作者: Maozhe Zhao, Shengzhong Liu, Fan Wu, Guihai Chen

分类: cs.CV, cs.LG

发布日期: 2025-04-30

备注: Sensys 2025 final version

💡 一句话要点

MOCHA：针对环境变化的视频分析，提出响应式DNN分层移动-云协同自适应框架

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 移动视频分析 模型自适应 边缘计算 分层协同 深度学习 环境变化 模型重用

📋 核心要点

  1. 现有云中心模型自适应方法在移动视频分析中，对环境变化响应迟缓，影响性能。
  2. MOCHA框架通过移动端快速微调和云端分层模型管理，实现响应式模型自适应。
  3. 实验表明，MOCHA在模型精度上提升6.8%，响应延迟和重训练时间分别节省35.5倍和3倍。

📝 摘要（中文）

移动视频分析系统经常面临各种部署环境，环境变化对已部署的“专家DNN模型”的自适应响应性提出了更高的要求。现有的模型自适应框架主要以云为中心运行，在自适应过程中性能下降，并且对环境变化的反应延迟。因此，本文提出了一种新的框架MOCHA，通过移动和云资源之间的分层协作来优化连续模型自适应的响应性。具体来说，MOCHA（1）通过在请求云模型检索和端到端重新训练之前执行设备上的模型重用和快速微调来减少自适应响应延迟；（2）通过将历史专家模型组织成一个结构化的分类，利用云基础模型分析的领域语义作为索引，来加速历史专家模型的检索；（3）通过维护板载专家模型缓存以应对频繁出现的场景，从而实现高效的本地模型重用，这些缓存主动从云模型数据库中预取模型权重。使用真实视频在三个DNN任务上进行的大量评估表明，MOCHA在自适应过程中将模型精度提高了高达6.8%，同时分别节省了高达35.5倍和3.0倍的响应延迟和重新训练时间。

🔬 方法详解

问题定义：论文旨在解决移动视频分析系统中，由于部署环境变化导致现有DNN模型性能下降的问题。现有云中心模型自适应方法存在响应延迟高、自适应过程性能下降等痛点，无法满足实时性要求高的应用场景。

核心思路：论文的核心思路是利用移动端和云端的协同计算能力，通过分层的方式进行模型自适应。移动端负责快速微调和模型重用，云端负责模型检索和端到端重新训练，从而实现快速响应和高效自适应。

技术框架：MOCHA框架包含以下主要模块：1) 移动端模型重用和快速微调模块：利用设备上的缓存模型和少量数据进行快速微调，减少对云端的依赖。2) 云端分层模型管理模块：将历史专家模型组织成一个结构化的分类，利用领域语义作为索引，加速模型检索。3) 移动端模型缓存管理模块：维护板载专家模型缓存，主动从云端预取模型权重，提高模型重用效率。

关键创新：MOCHA的关键创新在于其分层移动-云协同自适应框架，该框架充分利用了移动端和云端的计算资源，实现了快速响应和高效自适应。与现有方法相比，MOCHA能够在移动端进行快速微调和模型重用，减少了对云端的依赖，从而降低了响应延迟。同时，MOCHA通过云端分层模型管理，加速了模型检索，提高了自适应效率。

关键设计：云端模型分类的领域语义由云端基础模型分析得到，作为索引用于加速模型检索。移动端缓存管理策略考虑了场景的频率，预取高频场景的模型权重。具体参数设置和损失函数等细节在论文中未详细说明。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MOCHA框架在三个DNN任务上均取得了显著的性能提升。与现有方法相比，MOCHA在自适应过程中将模型精度提高了高达6.8%，同时分别节省了高达35.5倍的响应延迟和3.0倍的重新训练时间。这些结果表明，MOCHA框架能够有效地提高移动视频分析系统的响应性和准确性。

🎯 应用场景

MOCHA框架可应用于各种移动视频分析场景，例如智能监控、自动驾驶、增强现实等。通过快速适应环境变化，MOCHA可以提高视频分析的准确性和实时性，从而提升用户体验和应用价值。该研究对边缘计算和联邦学习等领域具有重要的参考价值。

📄 摘要（原文）

Mobile video analysis systems often encounter various deploying environments, where environment shifts present greater demands for responsiveness in adaptations of deployed "expert DNN models". Existing model adaptation frameworks primarily operate in a cloud-centric way, exhibiting degraded performance during adaptation and delayed reactions to environment shifts. Instead, this paper proposes MOCHA, a novel framework optimizing the responsiveness of continuous model adaptation through hierarchical collaborations between mobile and cloud resources. Specifically, MOCHA (1) reduces adaptation response delays by performing on-device model reuse and fast fine-tuning before requesting cloud model retrieval and end-to-end retraining; (2) accelerates history expert model retrieval by organizing them into a structured taxonomy utilizing domain semantics analyzed by a cloud foundation model as indices; (3) enables efficient local model reuse by maintaining onboard expert model caches for frequent scenes, which proactively prefetch model weights from the cloud model database. Extensive evaluations with real-world videos on three DNN tasks show MOCHA improves the model accuracy during adaptation by up to 6.8% while saving the response delay and retraining time by up to 35.5x and 3.0x respectively.