SciIF: Benchmarking Scientific Instruction Following Towards Rigorous Scientific Intelligence

📄 arXiv: 2601.04770v1 📥 PDF

作者: Encheng Su, Jianyu Wu, Chen Tang, Lintao Wang, Pengze Li, Aoran Wang, Jinouwen Zhang, Yizhou Wang, Yuan Meng, Xinzhu Ma, Shixiang Tang, Houqiang Li

分类: cs.AI, cs.DB

发布日期: 2026-01-08

💡 一句话要点

SciIF：提出科学指令遵循基准，评估LLM在科学推理中的严谨性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学指令遵循 大型语言模型 科学推理 基准测试 可审计性

📋 核心要点

  1. 现有科学基准侧重最终答案正确性，忽略了推理过程的严谨性，无法有效评估LLM的科学推理能力。
  2. SciIF通过引入科学指令遵循概念，要求LLM在解决科学问题时，必须严格遵守科学条件、语义稳定性和特定过程等约束。
  3. SciIF强调可审计性，要求模型提供明确的约束满足证据，从而实现对组合推理失败的细粒度诊断。

📝 摘要（中文）

随着大型语言模型（LLM）从通用知识检索过渡到复杂的科学发现，其评估标准也必须纳入科学探究的严格规范。现有的基准存在一个关键盲点：通用指令遵循指标侧重于表面格式，而特定领域的科学基准仅评估最终答案的正确性，通常奖励那些以错误原因得出正确结果的模型。为了解决这一差距，我们引入了科学指令遵循：在解决问题的同时严格遵守建立科学有效性的约束条件的能力。具体来说，我们引入了SciIF，这是一个多学科基准，通过将大学水平的问题与跨三个支柱的固定约束目录配对来评估这种能力：科学条件（例如，边界检查和假设）、语义稳定性（例如，单位和符号约定）和特定过程（例如，所需的数值方法）。SciIF独特地强调可审计性，要求模型提供约束满足的明确证据，而不是隐式遵守。通过测量解决方案的正确性和多约束的遵守情况，SciIF能够对组合推理失败进行细粒度诊断，确保LLM可以在科学的严格逻辑框架内充当可靠的代理。

🔬 方法详解

问题定义：现有的大型语言模型（LLM）在科学领域的应用评估中存在不足。现有的基准测试要么侧重于通用的指令遵循，忽略了科学推理的严谨性；要么只关注最终答案的正确性，而忽略了推理过程是否符合科学规范。这种评估方式无法保证LLM在科学研究中作为可靠代理的有效性。

核心思路：论文的核心思路是引入“科学指令遵循”的概念，即LLM在解决科学问题时，不仅要得到正确的答案，还要严格遵守科学研究中的各种约束条件，包括科学条件（如边界检查、假设）、语义稳定性（如单位和符号约定）和特定过程（如数值方法）。通过评估LLM对这些约束的遵守程度，可以更全面地评估其科学推理能力。

技术框架：SciIF基准测试包含多个学科的大学水平问题，每个问题都与一组预定义的约束条件相关联。这些约束条件分为三个支柱：科学条件、语义稳定性和特定过程。评估过程不仅检查答案的正确性，还要求模型提供明确的证据，证明其满足了所有相关的约束条件。这种可审计性使得能够诊断LLM在组合推理过程中出现的失败。

关键创新：SciIF的关键创新在于其对“科学指令遵循”的强调，以及对约束条件遵守情况的明确评估。与现有基准测试只关注最终答案不同，SciIF要求模型提供可审计的证据，证明其推理过程符合科学规范。这种方法能够更准确地评估LLM在科学领域的应用潜力。

关键设计：SciIF基准测试的设计包括以下关键要素：1) 多学科问题：涵盖多个科学领域，以评估LLM的通用性；2) 预定义的约束条件：每个问题都与一组明确的约束条件相关联，这些约束条件涵盖科学条件、语义稳定性和特定过程；3) 可审计性：要求模型提供明确的证据，证明其满足了所有相关的约束条件；4) 细粒度评估：通过分析模型在不同约束条件下的表现，可以诊断其在组合推理过程中出现的失败。

📊 实验亮点

SciIF基准测试通过评估LLM在满足科学约束条件方面的能力，提供了对LLM科学推理能力的细粒度诊断。实验结果（具体数值未知）表明，现有LLM在科学指令遵循方面仍存在不足，尤其是在组合推理和约束条件遵守方面。SciIF为未来LLM在科学领域的改进提供了明确的方向。

🎯 应用场景

SciIF基准的潜在应用领域包括：评估和改进LLM在科学研究中的应用能力，例如辅助科学发现、自动化实验设计、科学文献理解等。该研究有助于推动AI在科学领域的更可靠应用，并可能加速科学研究的进程。未来，可以扩展SciIF到更多学科和更复杂的科学问题。

📄 摘要（原文）

As large language models (LLMs) transition from general knowledge retrieval to complex scientific discovery, their evaluation standards must also incorporate the rigorous norms of scientific inquiry. Existing benchmarks exhibit a critical blind spot: general instruction-following metrics focus on superficial formatting, while domain-specific scientific benchmarks assess only final-answer correctness, often rewarding models that arrive at the right result with the wrong reasons. To address this gap, we introduce scientific instruction following: the capability to solve problems while strictly adhering to the constraints that establish scientific validity. Specifically, we introduce SciIF, a multi-discipline benchmark that evaluates this capability by pairing university-level problems with a fixed catalog of constraints across three pillars: scientific conditions (e.g., boundary checks and assumptions), semantic stability (e.g., unit and symbol conventions), and specific processes(e.g., required numerical methods). Uniquely, SciIF emphasizes auditability, requiring models to provide explicit evidence of constraint satisfaction rather than implicit compliance. By measuring both solution correctness and multi-constraint adherence, SciIF enables finegrained diagnosis of compositional reasoning failures, ensuring that LLMs can function as reliable agents within the strict logical frameworks of science.