ToolSciVer: Multimodal Scientific Claim Verification with Visual Tool Augmented Reinforcement Learning

📄 arXiv: 2607.16131 📥 PDF

作者: Binglin Zhou, Peng Shi, Ryo Kamoi, Nan Zhang, Rui Zhang

分类: cs.CL, cs.AI

发布日期: 2026-07-20

💡 一句话要点

提出ToolSciVer以解决多模态科学声明验证问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态科学验证 视觉工具 强化学习 视觉语言模型 科学文献解析

📋 核心要点

  1. 现有的多模态科学声明验证方法在定位关键视觉证据和整合多模态信息方面存在显著不足。
  2. ToolSciVer通过引入三种类型感知的视觉工具，增强了视觉语言模型的能力，以便更好地处理科学视觉信息。
  3. 在多个数据集上进行的实验表明，ToolSciVer在性能上显著优于传统的提示和强化学习方法，验证了其有效性。

📝 摘要（中文）

多模态科学声明验证（MSCV）要求模型利用来自论文的视觉证据（如图表、表格和文本上下文）来验证科学声明。然而，现有方法常常无法有效定位关键视觉证据、准确读取结构化科学视觉信息，并将多模态观察整合为可靠的推理。为此，我们提出了ToolSciVer，这是我们所知的首个工具增强框架。ToolSciVer为视觉语言模型（VLM）配备了三种类型感知的视觉工具，分别是表格行/列聚焦、图表结构解析和高分辨率区域放大，这些工具将密集的科学视觉信息转化为明确的、面向声明的证据，并通过群体相对策略优化（GRPO）在复合奖励下进行训练。实验结果表明，ToolSciVer在SciVer和MuSciClaims数据集上相较于四个竞争基线方法表现优越，突显了类型感知工具使用在科学声明验证中的有效性。

🔬 方法详解

问题定义：本论文旨在解决多模态科学声明验证中的关键问题，即现有方法无法有效定位和解读科学文献中的视觉证据，导致验证结果不准确。

核心思路：我们提出ToolSciVer框架，通过引入三种类型感知的视觉工具，帮助模型更好地解析和利用科学视觉信息，从而提高验证的准确性和可靠性。

技术框架：ToolSciVer的整体架构包括视觉语言模型（VLM）、三种视觉工具（表格行/列聚焦、图表结构解析、高分辨率区域放大）以及基于群体相对策略优化（GRPO）的训练机制。模型通过这些工具处理视觉信息，并结合文本上下文进行推理。

关键创新：ToolSciVer的主要创新在于引入了类型感知的视觉工具，这些工具能够将复杂的科学视觉信息转化为明确的证据，显著提升了模型的推理能力和验证准确性。

关键设计：在模型训练中，我们设计了复合奖励机制，包括答案正确性、格式有效性、长度控制、工具使用效率和工具有效性惩罚等多个维度，以优化模型的学习过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在SciVer和MuSciClaims数据集上的实验结果显示，ToolSciVer在五种视觉语言模型上均表现出色，相较于四个竞争基线方法，性能提升显著，验证准确率提高了约15%，显示了类型感知工具在科学声明验证中的有效性。

🎯 应用场景

ToolSciVer的研究成果在科学研究、学术出版和信息验证等领域具有广泛的应用潜力。通过提高科学声明的验证效率和准确性，该框架能够帮助研究人员和学者更好地理解和评估科学文献，促进科学知识的传播与应用。

📄 摘要（原文）

Multimodal Scientific Claim Verification (MSCV) requires models to verify scientific claims using visually grounded evidence from papers, including figures, tables, charts, and textual context. However, existing methods often fail because they struggle to locate decisive visual evidence, accurately read structured scientific visuals, and integrate multimodal observations into reliable reasoning. We introduce ToolSciVer, the first tool-augmented framework for MSCV to our knowledge. ToolSciVer equips a VLM with three type-aware visual tools, table row/column focus, chart-to-structure parsing, and high-resolution region zoom, which convert dense scientific visuals into explicit, claim-facing evidence, and trains the policy with Group Relative Policy Optimization (GRPO) under a composite reward of answer correctness, format validity, length control, tool-use efficiency, and tool-validity penalties. Experiments on SciVer and MuSciClaims datasets on five VLMs from three model families (Qwen, InternVL, Gemma) demonstrate that our method achieves superior performance compared to four competitive baselines including prompting-based and RL-based tool-use methods, highlighting the effectiveness of learned, type-aware tool use for scientific claim verification.