Look Back, Think Ahead: Visual Memory on Demand for Efficient Multimodal Reasoning
作者: Yicheng Xue, Han Wu, Jufeng Yang, Minjing Dong, Xinghao Chen, Hanting Chen, Jianyuan Guo
分类: cs.CV
发布日期: 2026-10-08
备注: 27 pages, 8 figures
💡 一句话要点
提出ViMoD框架以解决多模态推理中的视觉记忆问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态推理 视觉记忆 动态上下文管理 高分辨率图像 深度学习
📋 核心要点
- 现有方法在处理长视觉令牌序列时，固定的压缩上下文难以适应推理过程中不断变化的视觉证据需求。
- 本文提出ViMoD框架，通过DART和TRACE模块实现动态的视觉上下文管理，保持对细粒度证据的访问。
- 在Qwen3-VL-4B上，ViMoD在所有八个推理基准上超越了所有基线，均值得分提高39.0%，且仅增加了极少的可训练参数。
📝 摘要（中文）
处理高分辨率图像中的长视觉令牌序列使得多步推理在多模态大型语言模型中计算成本高昂。现有的一次性剪枝和聚合方法在解码前将视觉令牌压缩为固定上下文。然而，随着推理的展开，视觉证据的需求可能会变化，使得固定的压缩上下文难以保留各阶段所需的所有细节。为了解决这一挑战，本文提出了ViMoD，一个轻量级框架，能够在保持紧凑视觉上下文的同时，保留对原始细粒度证据的访问。通过区域令牌的可变聚合（DART）和自适应上下文证据的时间路由（TRACE），ViMoD在Qwen3-VL-4B上超越了所有评估基线，在八个推理基准上以20%的目标视觉令牌预算提高了39.0%的均值归一化得分，同时仅增加了0.0546%的可训练参数。
🔬 方法详解
问题定义：本文旨在解决在多模态大型语言模型中，处理高分辨率图像时长视觉令牌序列导致的计算成本高昂的问题。现有方法通过固定的压缩上下文来处理视觉信息，但无法适应推理过程中不断变化的视觉证据需求。
核心思路：ViMoD框架的核心思路是保持一个紧凑的视觉上下文，同时允许在推理过程中动态访问原始细粒度证据。通过DART和TRACE模块，ViMoD能够根据推理需求自适应地选择和聚合视觉令牌。
技术框架：ViMoD的整体架构包括两个主要模块：DART和TRACE。DART负责学习内容自适应的区域令牌组和聚合能力，构建与可恢复的原始细粒度令牌相关联的紧凑粗略表示；TRACE则利用解码历史来预测即将到来的证据需求，并选择、保留或替换活动的细粒度令牌组。
关键创新：ViMoD的关键创新在于其动态的视觉上下文管理能力，允许在推理过程中根据需求变化选择和聚合视觉信息。这一方法与现有的固定上下文方法本质上不同，能够更有效地利用视觉证据。
关键设计：在设计中，DART模块通过学习区域令牌的聚合能力来构建粗略表示，而TRACE模块则通过时间路由机制整合解码历史，以优化细粒度令牌的选择。整体设计确保了在保持低计算成本的同时，能够灵活应对不同阶段的推理需求。
🖼️ 关键图片
📊 实验亮点
在Qwen3-VL-4B上，ViMoD在所有八个推理基准上超越了所有评估基线，均值得分提高39.0%。这一显著提升是在仅增加0.0546%的可训练参数的情况下实现的，展示了其高效的性能。
🎯 应用场景
该研究的潜在应用领域包括智能监控、自动驾驶、医疗影像分析等需要处理高分辨率图像并进行复杂推理的场景。ViMoD框架的高效性和灵活性使其在多模态推理任务中具有重要的实际价值，未来可能推动相关领域的技术进步。
📄 摘要（原文）
Processing long visual token sequences from high-resolution images makes multi-step reasoning computationally expensive for multimodal Large Language Models (MLLMs). Existing one-shot pruning and aggregation methods compress visual tokens into a fixed context before decoding. However, visual evidence needs can shift as reasoning unfolds, making it difficult for a fixed compressed context to retain all the details needed across stages. To address this challenge, we propose ViMoD, a lightweight framework that maintains a compact visual context while preserving access to original fine-grained evidence as reasoning needs evolve. Deformable Aggregation of Region-wise Tokens (DART) learns content-adaptive groups and aggregation capacities, constructing compact Coarse representations linked to recoverable original Fine tokens. Temporal Routing for Adaptive Contextual Evidence (TRACE) integrates decoding history to anticipate upcoming evidence needs and select, retain, or replace active Fine-token groups. Selected Fine tokens augment the persistent Coarse context in the frozen backbone, enabling stage-specific evidence access without continuously attending to all visual tokens. On Qwen3-VL-4B, ViMoD outperforms all evaluated baselines on all eight reasoning benchmarks at a 20% target visual token budget, improving the mean normalized score by 39.0% over the strongest evaluated one-shot baseline. These gains are achieved with only 0.0546% additional trainable parameters relative to the frozen backbone.