Sci-MMR: Benchmarking Multi-Step Evidence-Grounded Scientific Reasoning in Multimodal Agents
作者: Jiaqiang Li, Yajie Yang, Zhiheng Xi, Jiadong Chen, Enyu Zhou, Senjie Jin, Yang Nan, Jiazheng Zhang, Han Wang, Yanxin Li, Dingwei Zhu, Bicheng Deng, Yuhui Wang, Xiang Zheng, Qi Zhang, Lei Bai, Xingjun Ma, Tao Gui
分类: cs.AI
发布日期: 2026-09-10
💡 一句话要点
提出Sci-MMR以解决多步骤证据基础科学推理问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多步骤推理 证据基础推理 多模态学习 科学推理 结构化论证图
📋 核心要点
- 现有多模态基准主要关注最终答案的准确性，未能有效评估推理过程中的证据支持情况。
- 本文提出Sci-MMR基准，通过结构化论证图连接科学主张、引用知识、视觉证据和支持区域，增强多步骤推理能力。
- 实验表明，现有模型在证据获取和整合方面存在显著瓶颈，导致准确率低于预期，尤其在复杂任务中表现不佳。
📝 摘要（中文）
自主研究代理越来越被期望能够搜索文献、分析实验证据并生成科学假设。这些能力需要多步骤的证据基础推理，逐步获取、整合和验证证据后得出结论。然而，现有的多模态基准主要评估最终答案的准确性，未能有效验证预测是否有可追溯的科学证据支持。为此，本文提出了Sci-MMR，一个基于结构化论证图的多步骤证据基础科学推理基准，涵盖235个跨四个科学学科的多跳推理任务。评估结果显示，答案准确率超过完整证据恢复率20%以上，揭示了现有答案中心基准的局限性。
🔬 方法详解
问题定义：本文旨在解决现有多模态推理基准无法有效评估科学推理过程中的证据支持问题，现有方法在证据获取和整合方面存在显著不足。
核心思路：Sci-MMR基准通过构建结构化论证图，系统性地链接科学主张与证据，支持多步骤推理，确保推理过程的透明性和可追溯性。
技术框架：该框架包括证据获取、证据整合和推理验证三个主要模块。首先，通过视觉分析提取科学图表中的证据；其次，将提取的证据整合以形成完整的论证；最后，验证推理结果的正确性。
关键创新：Sci-MMR的最大创新在于引入结构化论证图，使得多步骤推理过程中的每一步都有明确的证据支持，显著提高了推理的透明度和可验证性。
关键设计：在模型设计中，采用了多区域证据提取技术，并引入了针对证据整合的损失函数，优化了模型在复杂任务中的表现。
🖼️ 关键图片
📊 实验亮点
实验结果显示，现有模型的答案准确率超过完整证据恢复率20%以上，证据获取和整合的瓶颈分别导致57.2%和31.8%的失败率。即使在提供金证据的情况下，最强模型在最难任务上的准确率也仅为69.1%。
🎯 应用场景
该研究的潜在应用领域包括科学研究、教育和数据分析等。通过提升多模态代理的推理能力，能够更好地支持科学发现和知识生成，推动科学研究的自动化进程，具有重要的实际价值和未来影响。
📄 摘要（原文）
Autonomous research agents are increasingly expected to search the literature, analyze experimental evidence, and generate scientific hypotheses. These capabilities require multi-step evidence grounded reasoning that progressively acquires, integrates, and verifies evidence before reaching a conclusion. Existing multimodal benchmarks, however, largely evaluate final-answer accuracy, leaving open whether predictions are actually supported by traceable scientific evidence. We introduce Sci-MMR, a benchmark for multi-step evidence-grounded scientific reasoning built on structured argument graphs linking scientific claims, citation-grounded knowledge, visual evidence, and supporting regions. Sci-MMR comprises 235 multi-hop reasoning tasks spanning four scientific disciplines, with an average of nine figure panels per task. Evaluating eight frontier multimodal models, we find that answer accuracy consistently exceeds complete-evidence recovery rate by more than 20%, revealing a substantial gap that answer-only evaluation is structurally unable to capture. Through controlled interventions, we identify two fundamental bottlenecks. First, evidence acquisition: models struggle to extract complete structured evidence from scientific figures, accounting for 57.2% of failures. While cropping tools yield modest gains (+4.5 points), providing gold evidence improves accuracy by up to 37.0 points, indicating difficulty in assembling complete multi-region evidence. Second, evidence integration: models struggle to translate available evidence into correct conclusions, accounting for 31.8% of failures, while even with gold evidence the strongest model achieves only 69.1% accuracy on the hardest tasks. These findings indicate that current answer-centric benchmarks substantially overestimate the evidence-grounded reasoning capabilities of multimodal research agents