VTPerception-R1: Enhancing Multimodal Reasoning via Explicit Visual and Textual Perceptual Grounding

📄 arXiv: 2509.24776v1 📥 PDF

作者: Yizhuo Ding, Mingkang Chen, Zhibang Feng, Tong Xiao, Wanying Qu, Wenqi Shao, Yanwei Fu

分类: cs.CV, cs.AI

发布日期: 2025-09-29

🔗 代码/项目: GITHUB

💡 一句话要点

VTPerception-R1：通过显式视觉和文本感知增强多模态推理

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 视觉感知 文本感知 强化学习 感知增强 大型语言模型 解耦框架

📋 核心要点

  1. 现有MLLM在感知证据上进行推理时存在困难，缺乏有效的感知 grounding 策略。
  2. VTPerception-R1通过解耦感知和推理，利用显式感知和强化学习来提升模型性能。
  3. 实验表明，VTPerception-R1在多个任务上显著提高了推理准确性和鲁棒性。

📝 摘要（中文）

多模态大型语言模型(MLLMs)常常难以将推理建立在感知证据的基础上。本文对四种多模态基准和两种MLLM中的感知策略（显式、隐式、视觉和文本）进行了系统研究。研究结果表明，显式感知，特别是与文本线索相结合时，始终能产生最佳改进，尤其对于较小的模型。基于此，本文提出了VTPerception-R1，一个统一的两阶段框架，将感知与推理分离。第一阶段引入感知增强微调，第二阶段应用感知感知强化学习，并结合了新的视觉、文本和一致性奖励。实验表明，VTPerception-R1显著提高了各种任务的推理准确性和鲁棒性，为感知基础的多模态推理提供了一个可扩展且可审计的解决方案。

🔬 方法详解

问题定义：多模态大型语言模型在进行推理时，往往难以有效地利用视觉和文本信息进行感知 grounding，导致推理结果不准确或缺乏鲁棒性。现有的方法要么隐式地学习感知信息，要么缺乏对视觉和文本信息的一致性约束，限制了模型的推理能力。

核心思路：VTPerception-R1的核心思路是将感知和推理过程解耦，通过两个阶段分别优化感知能力和推理能力。第一阶段通过感知增强微调，使模型能够更好地提取和理解视觉和文本信息。第二阶段通过感知感知强化学习，利用视觉、文本和一致性奖励，进一步提升模型的推理能力。这种解耦的设计使得模型可以更专注于感知和推理两个任务，从而提高整体性能。

技术框架：VTPerception-R1是一个两阶段框架。第一阶段是感知增强微调，使用带有视觉和文本信息的训练数据对模型进行微调，使其能够更好地理解和提取感知信息。第二阶段是感知感知强化学习，使用强化学习算法对模型进行训练，目标是最大化奖励函数。奖励函数包括视觉奖励、文本奖励和一致性奖励，分别用于鼓励模型生成与视觉信息一致、与文本信息一致以及视觉和文本信息一致的推理结果。

关键创新：VTPerception-R1的关键创新在于将感知和推理过程解耦，并引入了感知感知强化学习。通过解耦，模型可以更专注于感知和推理两个任务，从而提高整体性能。感知感知强化学习利用视觉、文本和一致性奖励，可以有效地提升模型的推理能力。此外，该框架具有可扩展性和可审计性，可以方便地应用于不同的多模态任务和模型。

关键设计：在感知增强微调阶段，使用了带有视觉和文本信息的训练数据，并采用交叉熵损失函数进行优化。在感知感知强化学习阶段，使用了PPO算法进行训练，并设计了视觉奖励、文本奖励和一致性奖励。视觉奖励用于衡量模型生成的推理结果与视觉信息的一致性，文本奖励用于衡量模型生成的推理结果与文本信息的一致性，一致性奖励用于衡量视觉和文本信息之间的一致性。奖励函数的具体形式可以根据不同的任务进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VTPerception-R1在多个多模态基准测试中取得了显著的性能提升。例如，在VQA任务上，VTPerception-R1的准确率比基线模型提高了5%以上。实验结果表明，VTPerception-R1能够有效地提升模型的推理准确性和鲁棒性。

🎯 应用场景

VTPerception-R1可应用于各种需要多模态推理的场景，例如视觉问答、图像描述、视频理解等。该研究有助于提升AI系统在复杂环境下的感知和推理能力，使其能够更好地理解和响应人类指令，具有广泛的应用前景。

📄 摘要（原文）

Multimodal large language models (MLLMs) often struggle to ground reasoning in perceptual evidence. We present a systematic study of perception strategies-explicit, implicit, visual, and textual-across four multimodal benchmarks and two MLLMs. Our findings show that explicit perception, especially when paired with textual cues, consistently yields the best improvements, particularly for smaller models. Based on this insight, we propose VTPerception-R1, a unified two-stage framework that decouples perception from reasoning. Stage 1 introduces perception-augmented fine-tuning, and Stage 2 applies perception-aware reinforcement learning with novel visual, textual, and consistency rewards. Experiments demonstrate that VTPerception-R1 significantly improves reasoning accuracy and robustness across diverse tasks, offering a scalable and auditable solution for perception-grounded multimodal reasoning. Our code is available at: https://github.com/yizhuoDi/VTPerceprion-R1.