ChemArgus: Automated Scientific Diagnostics for Lab-Grade Multimodal Chemistry Reasoning: A Frontier Benchmark
作者: Hanyao Guo, Mo Cui, Zihan Tan, Leixin Sun, Yichun Wang, Yinan Shen, Guojun Zhu, Jia Jiang, Erhao Chen, Zui Chen, Wenzhe Gao, Zhihao Yu, Qijun Wang, Yetian Zhu, Jiande Chen, Chuhang Pei, Yao Jiang, Yichen Fan, Pinhan Wang, Xiaorui Pan, Qianyi Zhu, Yang Liu, Mang Ye, Guancheng Wan
分类: cs.LG
发布日期: 2026-10-14
💡 一句话要点
提出ChemArgus以解决化学推理评估中的盲点问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 化学推理 多模态评估 细粒度评分 推理链诊断 人工智能 教育技术
📋 核心要点
- 现有化学评估方法仅关注答案结果，无法有效诊断推理过程中的问题。
- ChemArgus通过细致的评分机制，逐步评估每个子问题，提供更全面的推理链分析。
- 实验结果显示，ChemArgus能够有效识别模型推理中的薄弱环节，提升化学推理能力。
📝 摘要（中文）
化学评估已从选择题转向开放式专家问题，但现有基准仅评分答案结果，忽视了推理过程中的细节。ChemArgus作为一个竞争级化学基准，通过细致的评分机制替代了传统的答案评分，允许对每个子问题进行逐步评分。该基准不仅评估模型的最终答案，还能诊断推理链的断裂点，帮助模型逐步提升化学推理能力。通过对比不同评分机制，ChemArgus揭示了模型在推理过程中的整合负担，为化学领域的语言模型提供了更为精细的反馈。
🔬 方法详解
问题定义：本论文旨在解决现有化学评估方法在推理过程中的盲点，尤其是仅依赖最终答案评分的问题。这种方法无法有效识别模型推理链中的断裂点，限制了对模型性能的深入理解。
核心思路：ChemArgus的核心思路是通过细致的评分机制替代传统的答案评分，允许对每个子问题进行逐步评分，从而提供更为精确的推理链分析。这种设计使得每个评分不仅是结果的评判，更是推理过程的诊断。
技术框架：ChemArgus的整体架构包括三个主要模块：1) 细粒度评分机制，逐步评估每个子问题；2) 多模态能力评估，结合真实图像和文本描述；3) 诊断归因分析，通过比较不同上下文下的评分，识别推理过程中的薄弱环节。
关键创新：ChemArgus的主要创新在于其细粒度评分和诊断归因机制，能够有效区分模型在推理过程中的整合、传播和局部推理能力。这与现有方法的单一结果评分形成鲜明对比。
关键设计：在评分设计中，ChemArgus采用了部分信用评分机制，允许对每个子问题的部分正确答案给予积分。此外，评分系统还考虑了多模态输入的结合，确保视觉理解与文本描述在同一任务下进行评估。
🖼️ 关键图片
📊 实验亮点
实验结果表明，GPT-5.6-Sol在未辅助的整体问题解决中得分为23.2%，而在两个顺序评分机制下分别为28.8%和30.4%。这一差距反映了模型在推理整合过程中的负担，展示了ChemArgus在推理链诊断方面的有效性。
🎯 应用场景
ChemArgus在化学教育、科研和人工智能领域具有广泛的应用潜力。它可以用于评估和改进化学推理模型，帮助教育工作者了解学生在化学推理中的薄弱环节，从而制定更有效的教学策略。此外，该基准还可以推动化学相关的AI系统在实际应用中的发展，提升其在复杂推理任务中的表现。
📄 摘要（原文）
Chemistry evaluation has moved past multiple-choice probes toward open-ended expert problems, yet the benchmarks that define the current frontier still score answer endpoints alone. Such scoring conflates memorized facts with stepwise derivation, treats visual and textual inputs as interchangeable, and confounds long-horizon planning with stepwise execution. These blind spots prevent any diagnosis of where the reasoning chain breaks in a model. We present ChemArgus, a competition-level chemistry benchmark drawn from chemistry competition material, textbooks, and research papers, whose scoring replaces the answer endpoint with three measurement properties. Fine-grained scoring grades every subquestion point by point with partial credit, so a score lands at the level of the step rather than the outcome. Multimodal capability is priced on every problem containing a real image, paired with a controlled text description, so visual understanding is measured against text on identical tasks. Diagnostic attribution reads paired metrics that share one scoring unit and differ only in context construction, so a gap between two scores isolates a single cause, namely integration, propagation, or local reasoning. GPT-5.6-Sol scores 23.2% on unassisted whole-problem solving against 28.8% and 30.4% under the two sequential metrics, a gap measuring the integration burden. Through rubric partial credit and these cause-isolating score gaps, ChemArgus shows not only whether a model answers chemistry correctly but where its reasoning chain fails, so that every score it reports doubles as a diagnosis, a readout of the chain rather than a verdict, aiming to guide language models step by step on their path toward chemistry expertise, one corrected step at a time, each step priced by the rubric, point by point.