RECAP: Looking Once Is Not Enough for Vision-Language Reasoning

📄 arXiv: 2610.30834v1 📥 PDF

作者: Zhaolu Kang, Tailong Luo, Chenxin Li, Yingjie He, Zhenyu Yu, Fengyu Zhou, Jiachen Qian, Lei Wei, Shuang Chen, Jiachen Li, Eric Hanchen Jiang, Rongchao Zhang, Zhengtao Yao, Hoi Leong Lee, Guansu Wang, Kaiyue Zhou

分类: cs.CV

发布日期: 2026-10-22

备注: NeurIPS 2026

💡 一句话要点

提出RECAP以解决视觉语言推理中的时间基础失效问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言推理 长链推理 信用分配 动态折扣 多模态学习

📋 核心要点

  1. 现有视觉语言模型在长链推理中存在时间基础失效的问题，导致模型偏离图像证据。
  2. 本文提出RECAP方法，通过视觉重访信号改善推理过程中的奖励分配，增强模型的准确性。
  3. 实验表明，RECAP在多个模型上均实现了6.1至6.5的HallusionBench性能提升，且保持了文本推理能力。

📝 摘要（中文）

长链推理提升了视觉语言模型（VLMs）的性能，但也暴露了时间基础失效的问题：在生成过程中，模型可能会偏离图像证据，而强化学习仅提供最终答案的奖励。本文通过视觉重访研究这一差距，提出RECAP方法，将分离的重访轨迹转化为信用分配信号。RECAP通过重访条件的优势估计、动态折扣和门控价值预测，传播最终奖励至视觉重要的推理步骤。实验结果表明，RECAP在多个VLM基础上均显著提升了性能，且在保持推理和文本性能的同时，提升了图像基础推理的准确性。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在长链推理过程中出现的时间基础失效问题。现有方法在生成过程中未能有效利用图像证据，导致推理准确性下降。

核心思路：RECAP方法通过引入视觉重访机制，利用重访信号作为信用分配的依据，以此改善模型在推理过程中的表现。该设计旨在增强模型对重要视觉信息的关注。

技术框架：RECAP的整体架构包括重访条件的优势估计、动态折扣机制和门控价值预测模块。该框架通过这些模块将最终奖励有效传播至视觉重要的推理步骤。

关键创新：RECAP的主要创新在于将重访信号转化为信用分配信号，解决了传统方法中仅依赖最终答案奖励的问题。这一方法与现有的GRPO和VPPO方法相比，显著提升了模型的推理能力。

关键设计：RECAP在参数设置上采用了动态折扣策略，以适应不同推理步骤的需求。同时，损失函数设计上考虑了重访信号的影响，确保模型能够有效学习到与视觉证据相关的推理步骤。整体网络结构则通过门控机制增强了对重要信息的选择性关注。

🖼️ 关键图片

fig_0

📊 实验亮点

实验结果显示，RECAP在Qwen2.5-VL-7B、InternVL3-8B和LLaVA-OV-7B等多个模型上均实现了6.1至6.5的HallusionBench性能提升，相较于SFT基础模型，显著增强了推理能力，同时保持了文本推理的性能。

🎯 应用场景

RECAP方法在视觉语言推理领域具有广泛的应用潜力，尤其是在需要长链推理的任务中，如图像问答、视觉故事生成等。其有效利用视觉证据的能力，能够提升模型在复杂场景下的表现，未来可能推动多模态AI系统的进一步发展。

📄 摘要（原文）

Long chain-of-thought reasoning improves vision-language models (VLMs), but it also exposes a temporal grounding failure: as generation unfolds, models may drift from image evidence while reinforcement learning still provides only a final-answer reward. We study this gap through visual revisit, a temporally localized reactivation of image evidence during reasoning. Across three VLM backbones, revisit peaks are predictive of correctness and causally linked to performance: masking them degrades accuracy more than masking non-peaks, while injecting revisit-like peaks into failed rollouts partially restores correct answers. Control analyses show that this signal is not explained by raw attention strength, uncertainty, logit margin, or hidden-state norm. We propose RECAP, a GRPO-compatible training method that turns detached revisit traces into a credit-assignment signal. RECAP uses revisit-conditioned advantage estimation, dynamic discounting, and gated value prediction to propagate final rewards through visually important reasoning steps, without extra rewards, additional rollouts, or inference-time changes. Across Qwen2.5-VL-7B, InternVL3-8B, and LLaVA-OV-7B, RECAP consistently improves over GRPO and VPPO, yielding $+6.1$--$+6.5$ HallusionBench gains over the SFT base while preserving reasoning and text-only performance. Results on larger LoRA-tuned models, Chinese zero-shot benchmarks, visual perturbations, and human evaluation further demonstrate robust improvements in image-grounded reasoning.