SciIF: Benchmarking Scientific Instruction Following Towards Rigorous Scientific Intelligence

📄 arXiv: 2601.04770v1 📥 PDF

作者: Encheng Su, Jianyu Wu, Chen Tang, Lintao Wang, Pengze Li, Aoran Wang, Jinouwen Zhang, Yizhou Wang, Yuan Meng, Xinzhu Ma, Shixiang Tang, Houqiang Li

分类: cs.AI, cs.DB

发布日期: 2026-01-08

💡 一句话要点

SciIF：提出科学指令遵循基准，评估LLM在科学推理中的严谨性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学指令遵循 大型语言模型 科学推理 基准测试 可审计性

📋 核心要点

  1. 现有科学基准侧重最终答案正确性，忽略了推理过程的严谨性，无法有效评估LLM的科学推理能力。
  2. SciIF通过引入科学指令遵循概念，要求LLM在解决科学问题时，必须严格遵守科学条件、语义稳定性和特定过程等约束。
  3. SciIF强调可审计性，要求模型提供明确的约束满足证据，从而实现对组合推理失败的细粒度诊断。

📝 摘要（中文）

随着大型语言模型（LLM）从通用知识检索过渡到复杂的科学发现，其评估标准也必须纳入科学探究的严格规范。现有的基准存在一个关键盲点：通用指令遵循指标侧重于表面格式，而特定领域的科学基准仅评估最终答案的正确性，通常奖励那些以错误原因得出正确结果的模型。为了解决这一差距，我们引入了科学指令遵循：在解决问题的同时严格遵守建立科学有效性的约束条件的能力。具体来说，我们引入了SciIF，这是一个多学科基准，通过将大学水平的问题与跨三个支柱的固定约束目录配对来评估这种能力：科学条件（例如，边界检查和假设）、语义稳定性（例如，单位和符号约定）和特定过程（例如，所需的数值方法）。SciIF独特地强调可审计性，要求模型提供约束满足的明确证据，而不是隐式遵守。通过测量解决方案的正确性和多约束的遵守情况，SciIF能够对组合推理失败进行细粒度诊断，确保LLM可以在科学的严格逻辑框架内充当可靠的代理。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在科学领域的应用评估中存在缺陷。现有的基准测试要么侧重于通用的指令遵循，忽略了科学推理的严谨性，要么只关注最终答案的正确性，而忽略了推理过程的合理性。这意味着即使模型给出了正确的答案，但如果其推理过程不符合科学规范，也无法被有效识别。因此，如何评估LLM在科学问题解决中是否遵循了科学的逻辑和规范，是一个亟待解决的问题。

核心思路：论文的核心思路是引入“科学指令遵循”的概念，并构建一个相应的基准测试SciIF。科学指令遵循指的是LLM在解决科学问题时，不仅要给出正确的答案，还要严格遵守科学的约束条件，包括科学假设、单位和符号的正确使用、以及特定的科学过程。通过评估LLM是否能够满足这些约束条件，可以更全面地评估其科学推理能力。

技术框架：SciIF基准测试包含多个学科的大学水平问题，并为每个问题定义了一组约束条件。这些约束条件分为三个支柱：科学条件（例如，边界检查和假设）、语义稳定性（例如，单位和符号约定）和特定过程（例如，所需的数值方法）。模型需要给出问题的答案，并提供证据证明其满足了所有相关的约束条件。评估过程不仅检查答案的正确性，还检查模型提供的证据是否充分且合理。

关键创新：SciIF的关键创新在于其强调“可审计性”。与以往的基准测试不同，SciIF要求模型提供明确的证据来证明其满足了约束条件，而不是仅仅隐式地遵守。这种可审计性使得研究人员可以更深入地了解模型的推理过程，并诊断其在组合推理中存在的失败。

关键设计：SciIF的设计包括问题选择、约束条件定义和评估指标。问题选择涵盖多个科学学科，并具有一定的难度。约束条件的定义需要领域专家的参与，以确保其科学性和完整性。评估指标包括答案正确率和约束条件满足率，并对不同类型的约束条件进行加权。

📊 实验亮点

SciIF基准测试能够细粒度地诊断LLM在科学推理中的不足，通过评估模型在满足科学条件、语义稳定性和特定过程约束方面的表现，揭示其在组合推理中存在的失败。该基准的推出，为开发更可靠、更严谨的科学智能体奠定了基础。

🎯 应用场景

SciIF基准的潜在应用领域包括：评估和改进LLM在科学研究中的辅助能力，例如辅助科研人员进行文献综述、实验设计和数据分析；开发更可靠的科学智能体，用于自动化科学发现过程；以及教育领域，帮助学生理解科学概念和方法。

📄 摘要（原文）

As large language models (LLMs) transition from general knowledge retrieval to complex scientific discovery, their evaluation standards must also incorporate the rigorous norms of scientific inquiry. Existing benchmarks exhibit a critical blind spot: general instruction-following metrics focus on superficial formatting, while domain-specific scientific benchmarks assess only final-answer correctness, often rewarding models that arrive at the right result with the wrong reasons. To address this gap, we introduce scientific instruction following: the capability to solve problems while strictly adhering to the constraints that establish scientific validity. Specifically, we introduce SciIF, a multi-discipline benchmark that evaluates this capability by pairing university-level problems with a fixed catalog of constraints across three pillars: scientific conditions (e.g., boundary checks and assumptions), semantic stability (e.g., unit and symbol conventions), and specific processes(e.g., required numerical methods). Uniquely, SciIF emphasizes auditability, requiring models to provide explicit evidence of constraint satisfaction rather than implicit compliance. By measuring both solution correctness and multi-constraint adherence, SciIF enables finegrained diagnosis of compositional reasoning failures, ensuring that LLMs can function as reliable agents within the strict logical frameworks of science.