ScienceClaw: Benchmarking Continual Self-Evolution of AI-for-Science Agents Across the Natural and Social Sciences

📄 arXiv: 2610.08691v1 📥 PDF

作者: Mingda Zhang, Wenjin Liu, Tiesunlong Shen, Zikai Xiao, Zhenghong Lin, Qing Xu, Erik Cambria, Xiaoying Tang, Haoran Luo

分类: cs.AI

发布日期: 2026-10-06

备注: 28 pages

🔗 代码/项目: GITHUB

💡 一句话要点

提出ScienceClaw以解决AI科学代理的自我进化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学自动化 自我进化 程序更新 任务解决 科学验证 跨学科评估 多轮交互

📋 核心要点

  1. 现有方法在科学自动化中缺乏对程序级持续改进的有效评估，尤其是在自然科学和社会科学的连续任务中。
  2. 论文提出ScienceClaw框架，通过固定参数的程序自我进化，整合任务解决、科学验证和程序更新的过程。
  3. 在23个学科的评估中，ScienceClaw展示了显著的科学正确性和进化增益，提升了任务的保留和跨数据集转移能力。

📝 摘要（中文）

大型语言模型代理正在加速科学自动化，但经过验证的执行很少转化为持久的程序级改进，现有评估未能考察自然科学和社会科学中的连续任务过程。我们将ScienceClaw形式化为固定参数的程序自我进化，统一任务解决、科学验证和程序更新。ScienceClaw-Eval涵盖23个学科，测量科学正确性、进化增益、保留、跨数据集转移和进化成本，通过连续流和独立重置评估。我们的框架通过多轮交互修复可执行工作流，将重新执行验证的失败-成功轨迹转换为关联的技能和操作候选，并仅在源任务重放再现修复且独立科学任务改进时保留更新。代码可在https://github.com/beita6969/ScienceClaw获取。

🔬 方法详解

问题定义：论文旨在解决大型语言模型代理在科学任务中缺乏持续自我进化的问题，现有方法未能有效评估和实现程序级改进。

核心思路：通过ScienceClaw框架，整合任务解决、科学验证和程序更新，形成固定参数的自我进化机制，以便在多个学科中实现有效的知识迁移和任务适应。

技术框架：整体架构包括任务解决模块、科学验证模块和程序更新模块。任务解决模块负责处理具体科学问题，科学验证模块确保结果的准确性，而程序更新模块则在成功执行后进行程序的自我更新。

关键创新：最重要的技术创新在于将多轮交互与可执行工作流修复结合，形成了一个动态的自我进化过程，与现有方法相比，能够更好地适应不同学科的需求。

关键设计：在参数设置上，框架采用固定参数设计以简化进化过程，损失函数则结合了科学正确性和进化成本，确保更新的有效性和可持续性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，ScienceClaw在23个学科的评估中表现出显著的科学正确性和进化增益，成功实现了任务的保留率提升和跨数据集转移能力的增强，具体性能数据尚未披露。

🎯 应用场景

该研究的潜在应用领域包括科学研究、教育和自动化实验室等。通过提升AI代理的自我进化能力，能够更有效地解决复杂科学问题，推动科学研究的自动化进程，具有重要的实际价值和未来影响。

📄 摘要（原文）

Large language model agents are accelerating scientific automation, yet verified executions rarely become persistent program-level improvements, and existing evaluations do not examine this process across sequential tasks in both the natural and social sciences. We formalize ScienceClaw as fixed-parameter program self-evolution that unifies task solving, scientific verification, and program updates. ScienceClaw-Eval spans 23 disciplines and measures scientific correctness, evolutionary gain, retention, cross-dataset transfer, and evolution cost through sequential streams and independent reset evaluation. Our framework repairs executable workflows through multi-turn interaction, converts re-execution-verified failure--success trajectories into linked Skill and Operator candidates, and retains an update only when source-task replay reproduces the repair and independent scientific tasks improve. Code is available at https://github.com/beita6969/ScienceClaw.