SciWalker: Synthesizing Scientific Coding Problems with Operator Graphs and Execution Feedback

📄 arXiv: 2609.30054v1 📥 PDF

作者: Chenxi Li, Wenxuan Zeng, Yun Luo, Fangchen Yu, Peng Ye, Yu Cheng, Jun Zhang

分类: cs.AI

发布日期: 2026-09-24

🔗 代码/项目: GITHUB

💡 一句话要点

提出SciWalker以合成科学编码问题并提升LLM训练数据质量

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 科学编码 自动生成 操作图 执行反馈 大型语言模型 数据质量 多样性 强化学习

📋 核心要点

  1. 现有方法在生成科学编码问题时缺乏高质量和多样性，手动编写成本高且效率低。
  2. SciWalker框架通过操作链采样和执行反馈，自动合成科学编码问题，提升数据质量和多样性。
  3. 实验结果显示，使用SciWalker生成的问题在SciCode子问题准确率上提升了9.9个百分点，显著改善了科学代码生成和推理能力。

📝 摘要（中文）

提高大型语言模型（LLMs）在科学编码方面的能力需要高质量的训练数据。然而，手动编写现实问题既耗时又昂贵，且系统性覆盖多样的科学领域和算法组合面临挑战。为此，本文提出了SciWalker框架，通过操作链采样和执行反馈合成科学编码问题。该框架结合科学库接口与操作模式，组织成操作图，并采样操作链作为计算工作流线索。在这些线索的指导下，利用LLMs生成科学问题陈述、参考解决方案和测试，并通过执行反馈迭代修复失败的生成。通过结构化工作流组合与验证，SciWalker实现了可扩展的任务生成，促进科学基础、计算多样性和可执行性。使用该框架构建了跨越5个科学领域和32个子领域的8178个高质量问题，并通过GSPO算法在Qwen3.5-9B上进行强化学习，提升了SciCode子问题的准确率9.9个百分点。

🔬 方法详解

问题定义：本文旨在解决高质量科学编码问题生成的不足，现有方法在多样性和覆盖面上存在显著挑战，手动编写问题既耗时又昂贵。

核心思路：SciWalker框架通过结合科学库接口与操作模式，利用操作链采样和执行反馈，自动生成科学编码问题，确保问题的科学性和可执行性。

技术框架：该框架主要包括操作图构建、操作链采样、问题生成和执行反馈修复四个模块。首先，构建操作图以组织操作，然后采样操作链作为工作流线索，最后生成问题并通过反馈进行修复。

关键创新：SciWalker的创新在于将操作链采样与执行反馈结合，形成一个闭环的生成与修复机制，显著提升了问题生成的质量和多样性。

关键设计：在参数设置上，框架采用了多种科学库接口，损失函数设计为兼顾生成质量与执行成功率，网络结构则基于现有的LLM架构进行优化，以适应科学编码问题的特性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，使用SciWalker生成的科学编码问题在SciCode子问题的准确率上提升了9.9个百分点，从29.3%提高到39.2%。这一提升在科学代码生成、代码修复和推理基准测试中均有显著表现，验证了框架的有效性。

🎯 应用场景

SciWalker框架可广泛应用于教育、科研和软件开发等领域，尤其是在需要生成高质量科学编码问题的场景中。其自动化生成能力能够大幅降低人工成本，提高科学教育和研究的效率，未来可能推动更多领域的智能化发展。

📄 摘要（原文）

Improving the scientific coding capabilities of large language models (LLMs) requires high-quality training data. However, such data remain scarce because manually authoring realistic problems is costly and time-consuming, while systematically covering diverse scientific domains and algorithmic combinations remains challenging. To address this, we introduce SciWalker, a framework for synthesizing scientific coding problems through operator-chain sampling and execution feedback. The framework combines scientific library interfaces with operation modes to instantiate operators, organizes them into operator graphs, and samples operator chains as computational workflow cues. Guided by these cues, we adopt LLMs to generate scientifically grounded problem statements, reference solutions, and tests, with failed generations iteratively repaired using execution feedback. By combining structured workflow composition with verification and quality review, SciWalker enables scalable task generation while promoting scientific grounding, computational diversity, and executability. Using this framework, we construct 8,178 high-quality problems spanning 5 scientific domains and 32 subdomains. To evaluate their training utility, we conduct reinforcement learning on Qwen3.5-9B using the GSPO algorithm. This training improves SciCode subproblem accuracy by 9.9 percentage points, from 29.3% to 39.2%, with gains across scientific code generation, code repair, and reasoning benchmarks. The code for SciWalker is available at https://github.com/lichenx1/SciWalker.