Just MLPs: Efficient Visual State Reconstruction for Multimodal Language Models
作者: Jingdi lei, Junxian Li, Di Zhang, Zhanqiu Zhang, Yiwen Guo, Soujanya Poria
分类: cs.CV, cs.AI
发布日期: 2026-09-28
备注: 21 pages, 5 figures
💡 一句话要点
提出δ-Vision以解决多模态语言模型中的视觉状态重建问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态语言模型 视觉状态重建 低秩适配器 Transformer 计算效率 图像理解 视频分析
📋 核心要点
- 现有方法通过剪枝冗余视觉令牌来降低计算成本，但这会丢弃可能在后续层中有用的视觉信息，导致准确性下降。
- 本文提出δ-Vision，通过低秩适配器替代Transformer对视觉令牌的重复演化，保留所有视觉令牌以构建层级视觉记忆。
- 在图像和视频基准测试中，δ-Vision在准确性上超过了视觉令牌剪枝基线，同时保持了较低的计算成本和高效的推理性能。
📝 摘要（中文）
长视觉令牌序列在多模态大语言模型（MLLMs）中占据了相当大的计算开销。现有方法通过剪枝冗余视觉令牌来降低成本，但这会永久丢弃可能在后续层中有用的视觉证据。本文提出δ-Vision，利用低秩适配器替代Transformer对视觉令牌的重复演化，构建层级视觉记忆，同时保留所有视觉令牌用于文本检索。实验表明，δ-Vision在图像和视频基准测试中实现了比视觉令牌剪枝基线更高的准确率，且计算成本相当或更低，推理效率也具有竞争力。
🔬 方法详解
问题定义：本文旨在解决多模态语言模型中长视觉令牌序列带来的计算开销问题。现有方法通过剪枝冗余视觉令牌来降低成本，但会丢弃潜在有用的视觉信息，影响模型性能。
核心思路：本文提出的δ-Vision通过低秩适配器替代Transformer对视觉令牌的重复演化，保留所有视觉令牌以构建层级视觉记忆，从而在降低计算成本的同时保持准确性。
技术框架：δ-Vision的整体架构包括低秩适配器模块，负责在视觉到文本的信息流中进行干预，构建层级视觉记忆。该框架通过阻断视觉到文本的注意力机制，恢复少量方向以恢复大部分丢失的准确性。
关键创新：本文的主要创新在于通过低秩适配器实现视觉状态的高效重建，避免了传统方法中对视觉令牌的剪枝，保留了所有视觉信息，显著提高了模型的准确性和推理效率。
关键设计：在设计中，采用了轻量级的多层感知机（MLP）来近似层特定的视觉状态，确保高余弦相似度和低重建误差，同时优化了参数设置和损失函数以提升模型性能。
🖼️ 关键图片
📊 实验亮点
实验结果显示，δ-Vision在图像和视频基准测试中实现了比视觉令牌剪枝基线更高的准确率，且计算成本相当或更低。此外，推理效率也表现出竞争力，证明了该方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、自然语言处理和多模态学习等。通过提升多模态语言模型的效率和准确性，δ-Vision可广泛应用于图像描述、视频理解和人机交互等实际场景，具有重要的实际价值和未来影响。
📄 摘要（原文）
Long visual token sequences often account for a substantial fraction of the computational overhead in multimodal large language models~(MLLMs). Existing approaches reduce this cost by pruning redundant visual tokens, but permanently discard visual evidence that may become useful in subsequent layers. We instead ask whether all visual tokens can be preserved while reducing the cost of repeatedly evolving the representations through the Transformer. To answer this question, we perform low-rank interventions on visual-to-text information flow. We find that, after visual-to-text attention is blocked, restoring only a few directions recovers most of the lost accuracy, suggesting the relevant visual influence is concentrated in a low-dimensional subspace. We further observe strong predictability in layer-specific visual states: lightweight MLPs approximate them with high cosine similarity and low reconstruction error. Motivated by these findings, we propose $δ$-Vision, which replaces repeated Transformer evolution of visual tokens with lightweight low-rank adapters that construct layer-wise visual memories while preserving all visual tokens for text retrieval. Across image and video benchmarks, $δ$-Vision achieves higher accuracy than visual token pruning baselines at comparable or lower computation, while delivering competitive inference efficiency without discarding visual tokens.