VG-Refiner: Towards Tool-Refined Referring Grounded Reasoning via Agentic Reinforcement Learning

📄 arXiv: 2512.06373v1 📥 PDF

作者: Yuji Wang, Wenlong Liu, Jingxuan Niu, Haoji Zhang, Yansong Tang

分类: cs.CV

发布日期: 2025-12-06

备注: The project page is this url

💡 一句话要点

提出VG-Refiner，通过Agent强化学习优化工具反馈，提升指代 grounding 推理能力

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 指代 grounding 视觉推理 工具集成 强化学习 Agent 学习 多模态学习 反馈优化

📋 核心要点

  1. 现有工具集成视觉推理方法忽略了对不可靠工具输出的有效响应，导致指代 grounding 任务中出现幻觉推理。
  2. VG-Refiner 引入“思考-反思”机制，显式分析工具反馈，并通过精炼奖励鼓励模型修正错误，提升推理能力。
  3. 实验表明，VG-Refiner 在指代 grounding 基准测试中显著提升了准确性和修正能力，同时保持了预训练模型的一般性。

📝 摘要（中文）

本文提出VG-Refiner，旨在解决工具集成视觉推理（TiVR）中，现有方法对不可靠或错误的工具输出缺乏有效响应机制的问题。特别是在指代和 grounding 任务中，不准确的检测工具预测常导致TiVR模型产生幻觉推理。VG-Refiner采用两阶段的“思考-反思”机制，使模型能够显式地分析和响应工具反馈，并引入了精炼奖励，鼓励模型针对不良工具结果进行有效修正。此外，本文提出了两个新的评估指标，并建立了公平的评估协议，以系统地衡量当前模型的精炼能力。通过少量任务特定数据增强VG-Refiner的精炼能力，在指代和推理 grounding 基准测试中，实现了准确性和修正能力的显著提升，同时保留了预训练模型的一般能力。

🔬 方法详解

问题定义：现有工具集成视觉推理（TiVR）方法在处理指代 grounding 任务时，容易受到不准确的检测工具预测的影响，导致模型产生幻觉推理。现有的 TiVR 范式主要关注通过强化学习集成各种视觉工具，而忽略了设计有效的响应机制来处理不可靠或错误的工具输出。

核心思路：VG-Refiner 的核心思路是引入一个两阶段的“思考-反思”机制，使模型能够显式地分析和响应工具的反馈。通过这种方式，模型可以识别并纠正由不准确的工具预测引起的错误，从而提高指代 grounding 推理的准确性。此外，通过引入精炼奖励，鼓励模型针对不良工具结果进行有效修正。

技术框架：VG-Refiner 包含两个主要阶段：思考阶段和反思阶段。在思考阶段，模型首先利用视觉工具（例如目标检测器）来处理输入图像和文本描述。然后，模型根据工具的输出生成初步的推理结果。在反思阶段，模型分析工具的反馈（例如，检测到的目标是否与文本描述一致），并根据分析结果调整其推理过程。这个过程通过强化学习进行优化，目标是最大化模型的准确性和修正能力。

关键创新：VG-Refiner 的关键创新在于其“思考-反思”机制和精炼奖励的设计。这种机制使模型能够主动地识别和纠正工具引入的错误，从而提高了模型的鲁棒性和准确性。此外，本文还提出了两个新的评估指标，用于系统地衡量模型的精炼能力。

关键设计：VG-Refiner 使用强化学习来训练模型的“思考-反思”过程。精炼奖励被设计为鼓励模型在工具反馈不良时进行有效修正。具体来说，当模型能够成功地纠正由不准确的工具预测引起的错误时，它将获得更高的奖励。此外，模型还使用少量任务特定数据进行微调，以进一步增强其精炼能力。具体的网络结构和参数设置在论文中有详细描述，此处不再赘述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

VG-Refiner 在指代 grounding 基准测试中取得了显著的性能提升。实验结果表明，VG-Refiner 在准确性和修正能力方面均优于现有的 TiVR 模型。通过少量任务特定数据增强，VG-Refiner 能够有效地纠正由不准确的工具预测引起的错误，从而提高了模型的整体性能。具体的性能提升数据在论文中有详细展示。

🎯 应用场景

VG-Refiner 可应用于各种需要指代 grounding 推理的场景，例如视觉问答、图像编辑、人机交互等。通过提高模型对不准确工具输出的鲁棒性，可以提升这些应用的用户体验和可靠性。未来，该研究可以扩展到更复杂的视觉推理任务，并与其他模态的信息进行融合，例如语音和视频。

📄 摘要（原文）

Tool-integrated visual reasoning (TiVR) has demonstrated great potential in enhancing multimodal problem-solving. However, existing TiVR paradigms mainly focus on integrating various visual tools through reinforcement learning, while neglecting to design effective response mechanisms for handling unreliable or erroneous tool outputs. This limitation is particularly pronounced in referring and grounding tasks, where inaccurate detection tool predictions often mislead TiVR models into generating hallucinated reasoning. To address this issue, we propose the VG-Refiner, the first framework aiming at the tool-refined referring grounded reasoning. Technically, we introduce a two-stage think-rethink mechanism that enables the model to explicitly analyze and respond to tool feedback, along with a refinement reward that encourages effective correction in response to poor tool results. In addition, we propose two new metrics and establish fair evaluation protocols to systematically measure the refinement ability of current models. We adopt a small amount of task-specific data to enhance the refinement capability of VG-Refiner, achieving a significant improvement in accuracy and correction ability on referring and reasoning grounding benchmarks while preserving the general capabilities of the pretrained model.