SimAuthor: Harnessing Foundation Models for Persistent Scientific Simulator Authoring
作者: Yishan Wang, Ran Piao, Mathias Funk, Aaqib Saeed
分类: cs.LG
发布日期: 2026-10-05
💡 一句话要点
提出SimAuthor以解决科学模拟器的持续作者问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学模拟器 基础模型 迭代优化 生物医学 实证反馈 程序结构 性能提升
📋 核心要点
- 现有方法在科学模拟器的编写中面临迭代优化的挑战，尤其是在缺乏充分实证反馈的情况下。
- 论文提出SimAuthor，通过持久的作者工具实现模拟器的保留与修订，利用有限的真实数据进行有效的优化。
- 实验结果表明，SimAuthor在六个生物医学任务中均优于基线方法，尤其在未见录音和独立预训练表示上表现出显著提升。
📝 摘要（中文）
基础模型能够生成科学代码，但科学模拟器的编写需要迭代优化。科学的充分性通常不允许唯一实现或精确测试，因此模拟器必须根据有限的真实观察进行评判。我们研究了在弱实证反馈下的科学模拟器编写，提出了SimAuthor，一个持久的作者工具，能够保留和修订可执行的模拟器，分离标量搜索分数与结构性反馈，并积累可重用的实现机制。我们在六个生物医学任务上评估了SimAuthor，结果显示其在所有任务上均优于PUCT评分搜索，并在五个任务上获得最高的终点分数。
🔬 方法详解
问题定义：论文要解决的问题是如何在有限的实证反馈下有效地编写和优化科学模拟器。现有方法往往无法处理复杂的反馈机制，导致模拟器性能不佳。
核心思路：SimAuthor的核心思路是通过持久的作者工具实现模拟器的持续修订，利用分离的反馈机制来优化模拟器的结构和性能。这样的设计使得模型能够在有限的真实数据上进行有效的学习和改进。
技术框架：SimAuthor的整体架构包括三个主要模块：模拟器的保留与修订、标量搜索分数与结构反馈的分离、以及可重用实现机制的积累。每个模块相互协作，以实现高效的模拟器优化。
关键创新：SimAuthor的主要创新在于其持久的修订机制，能够将基础模型的知识转化为更优的可执行科学模拟器。这一机制与传统方法的迭代优化方式有本质区别，后者往往依赖于单一的反馈来源。
关键设计：在设计上，SimAuthor采用了特定的损失函数来平衡标量搜索与结构反馈，同时在网络结构上实现了模块化设计，以便于不同实现机制的复用。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SimAuthor在固定的100次尝试预算下，超越了所有六个生物医学任务中的PUCT评分搜索，并在五个任务中取得了最高的终点分数。此外，111个审计修订中有86.1%改善了程序结构，显著提升了模拟器的性能。
🎯 应用场景
该研究的潜在应用领域包括生物医学模拟、药物开发和疾病预测等。通过提高科学模拟器的编写效率和准确性，SimAuthor能够为科学研究提供更强大的工具，推动相关领域的进步与创新。
📄 摘要（原文）
Foundation models can generate scientific code, but authoring a scientific simulator (an executable program encoding hypotheses about how mechanisms generate observable signals) requires iterative refinement. Scientific adequacy rarely admits a unique implementation or exact test, so simulators must instead be judged against limited real observations. We study this setting as scientific simulator authoring under weak empirical feedback, where distributional comparisons between simulated and real signals guide revision, and the target is the simulator itself rather than only its generated samples. We introduce SimAuthor, a persistent authoring harness that retains and revises executable simulators, separates scalar search scores from structured discrepancy feedback, and accumulates reusable implementation mechanisms. We evaluate SimAuthor on six biomedical tasks spanning cardiac and respiratory audio, photoplethysmography (PPG), and electrocardiography (ECG). Under a fixed 100-attempt budget, SimAuthor outperforms PUCT score search on all six tasks, generally outperforms textual-strategy optimization, and achieves the highest endpoint score on five of six. The authored simulators also improve on unseen recordings, transfer to independent pretrained representations, and yield substantial out-of-distribution gains in downstream ECG classification. Finally, 111 of 138 audited revisions alter program structure and account for 86.1% of the signed score improvement. These results suggest that persistent revision can progressively convert foundation-model knowledge into better executable scientific simulators from limited empirical evidence.