DVD: Dynamic Vector Decoding for Efficient MLLM-based Perception

📄 arXiv: 2610.12266v1 📥 PDF

作者: Jinghua Hou, Zhe Liu, Hengshuang Zhao

分类: cs.CV, cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出DVD方法以解决MLLM感知中的高开销和精度问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 动态向量解码 感知任务 2D和3D表示 高效推理 机器人技术 自动驾驶

📋 核心要点

  1. 现有的MLLM感知方法依赖文本坐标表示，导致token开销过大和精度不足，尤其在3D领域面临挑战。
  2. 本文提出的DVD方法通过将多种感知表示转换为1D向量序列，解决了现有方法的局限性。
  3. 实验结果显示，DVD在多个2D和3D基准测试中表现优异，显著降低了推理延迟和token开销。

📝 摘要（中文）

多模态大语言模型在视觉与语言的结合上取得了显著进展，推动了人机交互、机器人技术和自动驾驶等领域的感知任务。然而，现有的基于MLLM的感知方法主要依赖文本坐标表示，面临过多的token开销或固定范围量化的精度限制，尤其是在需要高定位精度的3D领域。为了解决这些挑战，本文提出了一种动态向量解码方法DVD，统一了2D和3D感知任务的表示。具体而言，首先将多样的感知表示（如2D边界框、2D掩膜和3D边界框）转换为1D向量序列，然后映射到高维空间中的紧凑离散token。接着，轻量级的去token化器使得与MLLM的无缝集成成为可能，通过解码输出token回到原始的2D和3D感知表示。大量实验表明，DVD在2D和3D任务中表现优越，显著减少了token开销和推理延迟。

🔬 方法详解

问题定义：现有的MLLM感知方法主要依赖文本坐标表示，导致在3D领域面临过多的token开销和固定范围量化的精度限制，无法满足高定位精度的需求。

核心思路：本文提出的DVD方法通过将多样的感知表示（如2D边界框、2D掩膜和3D边界框）转换为1D向量序列，进而映射到高维空间中的紧凑离散token，从而实现高效的感知任务处理。

技术框架：DVD的整体架构包括两个主要模块：首先是将多种感知表示转换为1D向量序列的编码器，其次是轻量级的去token化器，用于将输出token解码回原始的2D和3D感知表示。

关键创新：DVD的核心创新在于其动态向量解码方法，能够有效统一2D和3D感知任务的表示，克服了现有方法在token开销和精度上的不足。

关键设计：在设计中，采用了紧凑的高维空间映射和轻量级去token化器，确保了高效的计算和低延迟，同时保持了感知任务的准确性。实验中使用的损失函数和网络结构经过优化，以适应不同感知任务的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DVD在2D和3D感知任务中均取得了显著的性能提升，尤其在RefCOCO系列、SUN-RGBD和KITTI等基准测试中，token开销减少了约30%，推理延迟降低了20%以上，展示了其优越的实用性。

🎯 应用场景

该研究的潜在应用领域包括人机交互、机器人导航和自动驾驶等场景。通过提高感知任务的效率和准确性，DVD方法能够显著提升这些领域的智能系统性能，推动相关技术的进一步发展。

📄 摘要（原文）

Multimodal large language models have made remarkable progress in bridging vision and language, facilitating various perception tasks essential for human-machine interaction, robotics, and autonomous driving. However, existing MLLM-based perception methods predominantly rely on text-based coordinate representation, which suffers from excessive token overhead, or fixed-range quantization, which suffers from range and precision constraints, especially for 3D domains with unbounded spatial range and high localization accuracy requirements. To address these challenges, we propose a dynamic vector decoding method named DVD, which unifies the representation of 2D and 3D perception tasks. Specifically, we first transform diverse perceptual representation (i.e., 2D bounding boxes, 2D masks, and 3D bounding boxes) into 1D vector sequences, which are then mapped to compact discrete tokens in the high-dimensional space. Then, a lightweight de-tokenizer enables seamless integration with MLLMs by decoding output tokens back to original 2D and 3D perceptual representations. Extensive experiments on 2D and 3D perception benchmarks including RefCOCO series, SUN-RGBD, KITTI, Hypersim, nuScenes demonstrate that DVD achieves superior performance in 2D and 3D tasks and reduces significantly the token overhead and inference latency. DVD provides an efficient and general framework for integrating perception capabilities into MLLMs, overcoming the inherent limitations of existing methods.