Task-Oriented Visual Feature Compression via Residual Vector Quantization for Device-Edge Multimodal Inference

📄 arXiv: 2609.37090v1 📥 PDF

作者: Luning Pang, Cheng Yuan, Jiawei Shao, Mingtao Huang, Yuan Shen

分类: cs.CV

发布日期: 2026-09-29

备注: 13 pages. Submitted to IEEE Transactions on Mobile Computing

💡 一句话要点

提出Q-TOFC以解决设备边缘多模态推理中的特征压缩问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 特征压缩 残差向量量化 设备边缘计算 查询引导聚合

📋 核心要点

  1. 现有的任务导向特征压缩方法在处理带宽有限的设备-边缘推理时，存在特征编码成本高和任务相关信息丢失的问题。
  2. 本文提出的Q-TOFC方法通过残差向量量化技术，结合查询相关性优化特征聚合，显著降低了特征表示的成本。
  3. 实验结果显示，Q-TOFC在视觉负载上减少了53.6%，并在带宽受限的情况下实现了更低的延迟，性能保持稳定。

📝 摘要（中文）

大型多模态模型（LMMs）支持多样的视觉理解和推理任务，但在资源受限设备上运行时常常不切实际。设备-边缘协同推理减少了设备计算，但在带宽有限的上行链路上传输视觉数据可能引入显著延迟。任务导向特征压缩（TOFC）通过特征聚合和熵编码减少负载，但连续特征编码成本高，查询无关的聚合可能丢失任务相关的局部证据。本文提出了查询引导的任务导向特征压缩（Q-TOFC），利用残差向量量化（RVQ）将每个合并特征编码为紧凑的代码本索引序列，降低表示成本并允许传输更多特征。实验表明，Q-TOFC相较于TOFC在视觉负载上减少了53.6%，同时保持了可比的平均归一化任务性能。

🔬 方法详解

问题定义：本文旨在解决在资源受限设备上进行多模态推理时，特征压缩效率低和信息丢失的问题。现有的任务导向特征压缩方法（TOFC）在特征编码和聚合过程中存在高成本和查询无关性的问题。

核心思路：Q-TOFC通过引入查询引导的机制，优化特征聚合过程，并采用残差向量量化（RVQ）技术，将合并特征编码为紧凑的代码本索引序列，从而降低表示成本并提高传输效率。

技术框架：Q-TOFC的整体架构包括特征提取、查询引导聚合、残差向量量化和量化误差补偿适配器四个主要模块。特征提取模块负责从输入数据中提取视觉特征，查询引导聚合模块则根据任务需求优化特征的聚合方式。

关键创新：Q-TOFC的主要创新在于结合了查询相关性与残差向量量化，显著提高了特征压缩的效率，并有效减少了信息损失。这一方法与传统的TOFC相比，能够更好地保留任务相关的局部信息。

关键设计：在设计中，Q-TOFC采用了特定的损失函数来优化聚合过程，并通过量化误差补偿适配器来减轻离散量化带来的失真。此外，代码本的选择和参数设置也经过精心设计，以确保最佳的压缩效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Q-TOFC在视觉负载上相较于传统的TOFC方法减少了53.6%，同时在带宽受限的环境中实现了更低的延迟。这些结果表明Q-TOFC在保持任务性能的同时，显著提升了特征传输的效率。

🎯 应用场景

该研究的潜在应用领域包括智能手机、物联网设备和边缘计算平台等资源受限环境中的多模态推理任务。通过有效的特征压缩，Q-TOFC能够提高设备的推理效率，降低延迟，从而在实时应用中具有重要的实际价值和影响。

📄 摘要（原文）

Large multimodal models (LMMs) support diverse visual understanding and reasoning tasks but are often impractical to run entirely on resource-constrained devices. Device-edge co-inference reduces device computation, yet transmitting visual data over bandwidth-limited uplinks can introduce substantial delay. Task-oriented feature compression (TOFC) reduces the payload through feature aggregation and entropy coding. However, continuous-feature coding remains costly, and query-agnostic aggregation may discard task-relevant local evidence. We propose query-guided task-oriented feature compression (Q-TOFC) for device-edge multimodal inference. Q-TOFC employs residual vector quantization (RVQ) to encode each merged feature as a compact sequence of codebook indices, reducing its representation cost and allowing more features to be transmitted. It further incorporates query relevance into feature aggregation and uses a quantization error compensation adapter to mitigate the distortion introduced by discrete quantization. Experiments on seven multimodal benchmarks show that Q-TOFC reduces the visual payload by 53.6% relative to TOFC while maintaining comparable average normalized task performance. End-to-end latency evaluations further demonstrate lower latency under bandwidth-constrained uplinks.