Guided Verifier: Collaborative Multimodal Reasoning via Dynamic Process Supervision

📄 arXiv: 2602.04290v1 📥 PDF

作者: Lingzhuang Sun, Ruitong Liu, Yuxia Zhu, Xiaohan Xu, Jingxuan Wei, Xiangxiang Zhang, Bihui Yu, Wentao Zhang

分类: cs.CL

发布日期: 2026-02-04

💡 一句话要点

提出Guided Verifier框架，通过动态过程监督提升多模态大语言模型的推理能力。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态推理 强化学习 动态验证 过程监督 协同推理

📋 核心要点

  1. 传统MLLM推理依赖单一路线策略，缺乏中间监督，导致早期偏差累积，最终优化信号质量下降。
  2. Guided Verifier框架引入动态验证器，与策略模型协同解决任务，实时检测不一致性并提供指导信号。
  3. 通过合成CoRe数据集和Correct-guide Reasoning轨迹，训练引导验证器，实验证明该方法能显著提升模型性能。

📝 摘要（中文）

本文提出了一种名为Guided Verifier的框架，旨在提升多模态大语言模型（MLLMs）的复杂推理能力。该框架通过引入动态验证器，在模型推理过程中进行实时协同和监督，从而克服了传统强化学习方法中单一路线策略易导致的误差累积问题。动态验证器与策略模型实时交互，检测不一致性并提供方向性信号，引导模型走向有效轨迹。为了训练该验证器，作者构建了一个专门的数据合成流程，生成了包含过程级负样本的CoRe数据集和Correct-guide Reasoning轨迹。在MathVista、MathVerse和MMMU数据集上的实验表明，通过将计算资源分配给协同推理和动态验证，一个80亿参数的模型可以达到强大的性能。

🔬 方法详解

问题定义：多模态大语言模型在复杂推理任务中，通常采用强化学习方法进行训练。然而，现有方法主要依赖于单一路线策略，即模型独立完成推理过程，最终获得奖励。这种方式缺乏中间过程的监督，导致早期推理错误会不断累积，最终影响模型性能，并且产生噪声优化信号。

核心思路：本文的核心思路是引入一个动态验证器，与策略模型协同完成推理任务。验证器在推理过程中实时评估策略模型的输出，检测不一致性，并提供指导信号，帮助模型纠正错误，从而避免误差累积。这种协同推理的方式可以提高推理过程的稳定性和准确性。

技术框架：Guided Verifier框架包含两个主要模块：策略模型和动态验证器。策略模型负责生成推理步骤，动态验证器负责评估这些步骤的合理性。在推理过程中，策略模型首先生成一个推理步骤，然后动态验证器对该步骤进行评估，如果发现不一致性，则提供指导信号，引导策略模型进行修正。这个过程不断迭代，直到完成整个推理任务。为了训练动态验证器，作者设计了一个数据合成流程，生成了包含过程级负样本的CoRe数据集和Correct-guide Reasoning轨迹。

关键创新：该方法最重要的创新点在于引入了动态验证器，实现了协同推理。与传统的单一路线策略相比，该方法能够实时检测和纠正推理错误，避免误差累积，从而提高推理的准确性和稳定性。此外，专门设计的数据合成流程，针对多模态幻觉问题，为动态验证器的训练提供了高质量的数据。

关键设计：为了训练动态验证器，作者设计了一个专门的数据合成流程，生成了CoRe数据集和Correct-guide Reasoning轨迹。CoRe数据集包含过程级负样本，用于训练验证器识别不一致性的能力。Correct-guide Reasoning轨迹包含正确的推理路径和指导信号，用于训练验证器提供有效指导的能力。具体的损失函数和网络结构等技术细节在论文中未详细描述，属于未知信息。

📊 实验亮点

实验结果表明，通过引入Guided Verifier框架，一个80亿参数的模型在MathVista、MathVerse和MMMU数据集上取得了显著的性能提升。具体的数据和对比基线在摘要中未给出，属于未知信息。但结论表明，将计算资源分配给协同推理和动态验证是有效的。

🎯 应用场景

该研究成果可应用于需要复杂推理的多模态任务，例如视觉问答、机器人导航、医学诊断等。通过提高模型的推理准确性和稳定性，可以提升这些应用场景的性能和可靠性。未来，该方法有望扩展到更广泛的领域，例如自动驾驶、智能客服等。

📄 摘要（原文）

Reinforcement Learning (RL) has emerged as a pivotal mechanism for enhancing the complex reasoning capabilities of Multimodal Large Language Models (MLLMs). However, prevailing paradigms typically rely on solitary rollout strategies where the model works alone. This lack of intermediate oversight renders the reasoning process susceptible to error propagation, where early logical deviations cascade into irreversible failures, resulting in noisy optimization signals. In this paper, we propose the \textbf{Guided Verifier} framework to address these structural limitations. Moving beyond passive terminal rewards, we introduce a dynamic verifier that actively co-solves tasks alongside the policy. During the rollout phase, this verifier interacts with the policy model in real-time, detecting inconsistencies and providing directional signals to steer the model toward valid trajectories. To facilitate this, we develop a specialized data synthesis pipeline targeting multimodal hallucinations, constructing \textbf{CoRe} dataset of process-level negatives and \textbf{Co}rrect-guide \textbf{Re}asoning trajectories to train the guided verifier. Extensive experiments on MathVista, MathVerse and MMMU indicate that by allocating compute to collaborative inference and dynamic verification, an 8B-parameter model can achieve strong performance.