From Execution to Capability: Scientific Experience Consolidation via Procedural Knowledge Synthesis
作者: Liwei Dong, Jiahao Zhao, Nan Xu
分类: cs.AI
发布日期: 2026-07-27
💡 一句话要点
提出SciConsolidate以解决科学计算经验转化问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学计算 程序知识 经验整合 迁移学习 模型改进 自动化编程 智能助手
📋 核心要点
- 现有方法在科学计算中面临经验转化的挑战，反馈难以在不同问题间迁移，导致能力不足。
- 论文提出SciConsolidate，通过对比成功与失败案例，诱导跨任务程序并扩展整合数据，解决了经验转化问题。
- 实验结果显示，使用程序注入后，Qwen3.6-27B模型在多个指标上显著提升，验证了方法的有效性。
📝 摘要（中文）
大型语言模型在解决科学计算任务中越来越有效，但从一个问题获得的可执行反馈往往无法在后续问题中转化为持久能力。本文研究了科学计算经验的整合，旨在将经过验证的运行时经验转化为可迁移的程序知识和持久的模型改进。我们提出了SciConsolidate，通过对比成功与失败的案例来诱导跨任务程序，并通过开发-验证门选择这些程序，利用失败信息进行无答案查询合成，从而扩展整合数据。实验结果表明，该方法在不同模型上均取得了显著的性能提升。
🔬 方法详解
问题定义：本文旨在解决科学计算中经验转化为能力的难题，现有方法常常导致反馈无法在不同任务间有效迁移，形成了抽象与执行之间的差距。
核心思路：SciConsolidate通过对比成功与失败的案例，诱导出跨任务的程序知识，并通过无答案查询合成扩展整合数据，旨在提升模型的迁移能力。
技术框架：整体架构包括两个主要模块：一是通过开发-验证门选择有效的跨任务程序，二是利用更强的模型将抽象程序具体化为可执行代码，以支持标准的无程序微调。
关键创新：最重要的创新在于引入了失败信息进行查询合成，避免了对预先存在参考答案的依赖，同时通过程序指导的具体化提升了模型的执行能力。
关键设计：在模型训练中，采用了特定的损失函数来优化程序选择和执行效果，同时设计了匹配的无程序教师分支，以便隔离程序指导的价值。
🖼️ 关键图片
📊 实验亮点
实验结果表明，使用程序注入后，Qwen3.6-27B模型在子步骤和主问题上分别提升了3.85和6.26点，而Qwen3.5-9B模型在无程序微调控制下提升了3.89和6.25点，显示了方法在不同模型上的有效性和抽象-执行差距的存在。
🎯 应用场景
该研究的潜在应用领域包括科学计算、自动化编程和智能助手等。通过提升模型在不同任务间的迁移能力，SciConsolidate为科学研究和工程应用提供了更为高效的工具，未来可能推动自我改进的科学辅助系统的发展。
📄 摘要（原文）
Large language models increasingly solve scientific-computing tasks, but executable feedback from one problem rarely becomes durable capability on subsequent problems. We study scientific-computing experience consolidation: converting verified runtime experience into transferable procedural knowledge and persistent model improvement. This setting presents two challenges: trajectory-derived artifacts may encode source-specific repairs rather than cross-task computational mechanisms; and a weaker target model may be unable to operationalize an otherwise valid abstract procedure - an abstraction-execution gap. We introduce SciConsolidate, which contrasts verified successes and failures to induce cross-task procedures, selects them through a development-validation gate, and uses failure-informed, answer-free query synthesis to expand the consolidation data without requiring pre-existing reference answers. Because the target model may not directly execute these abstractions, a stronger model concretizes them into executable code supervision for standard, procedure-free SFT; a matched no-procedure teacher branch isolates the value of procedural guidance. On SciCode, runtime procedure injection improves Qwen3.6-27B by +3.85/+6.26 sub-step/main-problem points, but yields almost no aggregate main-problem gain for Qwen3.5-9B, providing operational evidence of the abstraction-execution gap. After procedure-guided concretization, the 9B student improves under procedure-free deployment by +3.89/+6.25 points over the no-procedure SFT control and by +5.62/+11.25 over the original 9B model. These results establish an experience-to-capability pathway for scientific computing and provide a practical starting point for scaling self-improving scientific assistance.