DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

📄 arXiv: 2607.08434v1 📥 PDF

作者: Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

分类: cs.CV

发布日期: 2026-07-09

🔗 代码/项目: GITHUB

💡 一句话要点

提出DeltaV以解决多模态模型中视觉状态冗余问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉更新 模型优化 数据集构建 深度学习

📋 核心要点

  1. 现有的ULMMs在生成完整图像时存在视觉标记冗余，导致推理效率低下。
  2. DeltaV通过增量预测视觉更新标记，避免重复生成未变化的视觉内容，从而提高推理效率。
  3. 实验结果显示，DeltaV在视觉标记生成上减少55.6%，并在多模态推理上提升3.3%。

📝 摘要（中文）

当前的统一大型多模态模型（ULMMs）通过文本推理和中间视觉状态支持交错的多模态推理，但通常生成完整图像作为每个视觉状态。这种完整图像生成范式引入了大量视觉标记冗余，并稀释了对稀疏但推理关键的状态转变的监督。我们提出DeltaV，一种通过视觉更新替代完整图像生成的ULMM。DeltaV在历史视觉状态的基础上，增量预测紧凑的更新标记，捕捉推理步骤中的视觉变化，避免重复建模未改变的内容。实验表明，视觉更新范式在不影响重建保真度的情况下，平均减少新生成的视觉标记55.6%，并在多模态推理上提高3.3%。

🔬 方法详解

问题定义：当前的ULMMs在生成每个视觉状态时采用完整图像生成方式，导致视觉标记的冗余和推理效率的降低。此外，稀疏的状态转变缺乏有效的监督，影响了模型的推理能力。

核心思路：DeltaV的核心思想是通过历史视觉状态进行条件生成，增量预测视觉更新标记，从而捕捉推理过程中的视觉变化，避免重复建模未变化的内容。这种方法旨在减少视觉标记的冗余，提高推理效率。

技术框架：DeltaV的整体架构包括历史视觉状态的输入、更新标记的生成模块和TSIM Router。TSIM Router根据视觉变化的幅度动态分配标记，确保每次更新的标记数量与视觉变化的大小相匹配。

关键创新：DeltaV的主要创新在于引入了视觉更新的概念，替代了传统的完整图像生成方式。这一设计使得模型能够更高效地处理视觉信息，减少冗余，同时保持高保真度的重建效果。

关键设计：在设计中，DeltaV使用了TSIM Router来动态调整标记分配，设定了重建增益的阈值，以决定何时停止分配标记。此外，模型在训练时使用了StructCoT数据集，以增强其多模态推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DeltaV在生成视觉标记时平均减少了55.6%，同时在多模态推理任务中提升了3.3%。此外，DeltaV-2B在与更大规模的开源模型比较时，表现出8.4%的性能提升，且在外部基准测试中超越了同规模的Qwen3-VL-2B达5.9%。

🎯 应用场景

DeltaV的研究成果具有广泛的应用潜力，尤其在需要高效多模态推理的领域，如智能监控、自动驾驶、虚拟助手等。通过减少视觉标记的冗余，DeltaV能够提高模型的响应速度和准确性，推动多模态技术的进一步发展。

📄 摘要（原文）

Current Unified Large Multimodal Models (ULMMs) support interleaved multimodal reasoning through textual reasoning and intermediate visual states, but typically generate each visual state as a full image. This full-image generation paradigm introduces substantial visual-token redundancy and dilutes supervision on sparse yet reasoning-critical state transitions. We propose DeltaV, a ULMM that replaces full-image generation with visual updates. Conditioned on historical visual states, DeltaV incrementally predicts compact update tokens that capture the visual changes across reasoning steps, avoiding repeated modeling of unchanged content. To align the token budget of each update with the magnitude of visual change, DeltaV introduces a temporal similarity (TSIM) Router, which stops allocating tokens once the marginal reconstruction gain falls below a threshold. To support more diverse and generalizable reasoning, we further construct StructCoT, a large-scale interleaved multimodal reasoning dataset with 1.05M samples spanning 44 task domains. Experiments show that the visual-update paradigm reduces newly generated visual tokens by 55.6\% on average without compromising reconstruction fidelity, and improves multimodal reasoning by 3.3\% over full-image generation. Trained with StructCoT and large-scale multimodal data, DeltaV-2B further outperforms substantially larger open-source models by 8.4\% on in-domain multimodal reasoning evaluations and surpasses the comparable-scale Qwen3-VL-2B by 5.9\% on external multimodal reasoning and understanding benchmarks. Code, models, and StructCoT will be released at https://github.com/Pengjie-W/DeltaV.