MMEdge: Accelerating On-device Multimodal Inference via Pipelined Sensing and Encoding

📄 arXiv: 2510.25327v5 📥 PDF

作者: Runxi Huang, Mingxuan Yu, Mingyu Tsoi, Xiaomin Ouyang

分类: cs.CV, cs.AI, cs.LG

发布日期: 2025-10-29 (更新: 2025-11-18)

备注: Code available at: https://github.com/HKUST-MINSys-Lab/MMEdge. Accepted by SenSys 2026

💡 一句话要点

MMEdge：通过流水线式感知与编码加速设备端多模态推理

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 边缘计算 流水线处理 自适应优化 跨模态学习 无人机应用 实时系统

📋 核心要点

  1. 现有边缘设备多模态推理方法忽略了感知动态与模型执行的耦合，以及模态间的复杂依赖关系。
  2. MMEdge通过流水线式感知与编码，将推理分解为细粒度单元，实现增量计算，并引入时序聚合模块。
  3. 实验表明，MMEdge在无人机平台上显著降低了端到端延迟，同时保持了较高的任务准确性。

📝 摘要（中文）

在资源受限的边缘设备上进行实时多模态推理对于自动驾驶、人机交互和移动健康等应用至关重要。然而，现有工作通常忽略了感知动态与模型执行之间的紧密耦合，以及复杂的多模态依赖关系。本文提出了MMEdge，一种基于流水线式感知和编码的全新设备端多模态推理框架。MMEdge没有等待完整的传感器输入，而是将整个推理过程分解为一系列细粒度的感知和编码单元，允许计算随着数据的到达而增量进行。MMEdge还引入了一个轻量级但有效的时序聚合模块，该模块捕获不同流水线单元之间的丰富时序动态，以保持准确性性能。这种流水线设计还为推理过程中的细粒度跨模态优化和早期决策提供了机会。为了进一步提高资源可变性和输入数据复杂性下的系统性能，MMEdge包含一个自适应多模态配置优化器，该优化器在延迟约束下动态地为每个模态选择最佳的感知和模型配置，以及一种跨模态推测跳过机制，当早期预测达到足够的置信度时，该机制会绕过较慢模态的未来单元。我们使用两个公共多模态数据集评估MMEdge，并将其部署在基于无人机的真实多模态测试平台上。结果表明，MMEdge在各种系统和数据动态下，显著降低了端到端延迟，同时保持了较高的任务准确性。

🔬 方法详解

问题定义：论文旨在解决资源受限的边缘设备上实时多模态推理的挑战。现有方法通常需要等待所有模态的数据收集完毕才能开始推理，忽略了感知过程的动态性，导致延迟较高。此外，它们也未能充分利用不同模态之间的依赖关系进行优化。

核心思路：MMEdge的核心思路是将多模态推理过程分解为流水线式的感知和编码单元，允许计算随着数据的到达而增量进行。通过这种方式，可以避免等待所有数据收集完毕，从而降低延迟。同时，利用跨模态的依赖关系，进行早期决策和推测跳过，进一步优化推理过程。

技术框架：MMEdge的整体框架包含以下几个主要模块：1) 流水线式感知与编码单元：将每个模态的感知和编码过程分解为一系列细粒度的单元。2) 时序聚合模块：捕获不同流水线单元之间的时序动态，以提高推理准确性。3) 自适应多模态配置优化器：根据资源可用性和延迟约束，动态选择每个模态的最佳感知和模型配置。4) 跨模态推测跳过机制：当早期预测达到足够的置信度时，跳过较慢模态的后续单元。

关键创新：MMEdge的关键创新在于其流水线式的推理方式和跨模态的优化策略。与传统的等待所有数据收集完毕再进行推理的方法不同，MMEdge允许计算随着数据的到达而增量进行，从而显著降低了延迟。此外，通过自适应配置优化和推测跳过，MMEdge能够根据资源可用性和数据特性动态调整推理过程，进一步提高效率。

关键设计：时序聚合模块的设计细节未知，论文中提到是轻量级但有效。自适应多模态配置优化器可能使用了强化学习或贝叶斯优化等方法来搜索最佳配置。跨模态推测跳过机制的关键在于如何确定早期预测的置信度阈值，以及如何保证跳过后的推理准确性。这些细节在论文中可能没有详细描述，需要进一步研究。

📊 实验亮点

MMEdge在两个公共多模态数据集和一个基于无人机的真实测试平台上进行了评估。实验结果表明，MMEdge能够在保持高任务准确性的前提下，显著降低端到端延迟。具体的性能数据和对比基线在摘要中未给出，需要在论文正文中查找。

🎯 应用场景

MMEdge适用于各种需要在资源受限的边缘设备上进行实时多模态推理的场景，例如自动驾驶（传感器融合）、人机交互（语音和视觉结合）、移动健康（生理信号和环境信息结合）以及机器人导航。该研究可以提高这些应用的响应速度和用户体验，并为未来的边缘计算应用提供新的思路。

📄 摘要（原文）

Real-time multimodal inference on resource-constrained edge devices is essential for applications such as autonomous driving, human-computer interaction, and mobile health. However, prior work often overlooks the tight coupling between sensing dynamics and model execution, as well as the complex inter-modality dependencies. In this paper, we propose MMEdge, an new on-device multi-modal inference framework based on pipelined sensing and encoding. Instead of waiting for complete sensor inputs, MMEdge decomposes the entire inference process into a sequence of fine-grained sensing and encoding units, allowing computation to proceed incrementally as data arrive. MMEdge also introduces a lightweight but effective temporal aggregation module that captures rich temporal dynamics across different pipelined units to maintain accuracy performance. Such pipelined design also opens up opportunities for fine-grained cross-modal optimization and early decision-making during inference. To further enhance system performance under resource variability and input data complexity, MMEdge incorporates an adaptive multimodal configuration optimizer that dynamically selects optimal sensing and model configurations for each modality under latency constraints, and a cross-modal speculative skipping mechanism that bypasses future units of slower modalities when early predictions reach sufficient confidence. We evaluate MMEdge using two public multimodal datasets and deploy it on a real-world unmanned aerial vehicle (UAV)-based multimodal testbed. The results show that MMEdge significantly reduces end-to-end latency while maintaining high task accuracy across various system and data dynamics.