A foundation model for energy and radiation systems built on heterogeneous scientific interfaces
作者: Samrendra Roy, Tapas Tripura, Yoon Pyo Lee, Souvik Chakraborty, Syed Bahauddin Alam
分类: cs.LG, physics.comp-ph
发布日期: 2026-09-29
备注: 71 pages, 6 figures, 18 supplementary figures
💡 一句话要点
提出GEODE模型以解决异构科学接口下的能量与辐射系统问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 科学基础模型 异构接口 多任务学习 波形算子 能量系统 辐射剂量 弹塑性应力
📋 核心要点
- 现有科学基础模型在处理异构物理问题时，往往忽视了科学接口的有效利用与重用。
- 论文提出GEODE模型，通过将任务特定的科学接口与共享波形算子库结合，提升了模型的适应性与准确性。
- 实验结果表明，GEODE在多任务覆盖、保留和预训练重用方面表现出显著的独立性和有效性。
📝 摘要（中文）
科学基础模型通常在异构物理问题被转换为兼容的网格、标记或符号表示后进行评估，这使得科学接口在预训练模型和实际重用审计中被排除。本文研究了一种新的设置，其中边界历史、稀疏监测记录和加载历史保留其原生推理类别，并且输出保持在笛卡尔、纬度-经度和非结构化域上。GEODE将任务特定的科学接口与共享的波形算子库相结合，通过一个联合预训练模型表示腔体流动、辐射剂量和弹塑性应力，并通过训练一个包含2.1%参数的私有接口获取热交换器和反应堆子通道。早期的预测在参数隔离下保持不变，而不受限制的微调则使其性能下降14-29倍。重要的是，单纯的保留并不等同于重用：归一化匹配的随机库控制显示，预训练计算的贡献取决于任务和数据模式。
🔬 方法详解
问题定义：本文旨在解决现有科学基础模型在异构物理问题中对科学接口的忽视，导致模型重用效率低下的问题。现有方法通常在转换为统一表示后进行评估，缺乏对原生推理类别的保留。
核心思路：GEODE模型通过将任务特定的科学接口与共享的波形算子库相结合，保留了边界历史和监测记录的原生推理类别，从而实现了更高效的模型重用和准确性。
技术框架：GEODE的整体架构包括一个联合预训练模型，该模型通过共享的波形算子库与多个任务特定接口相连接，支持腔体流动、辐射剂量和弹塑性应力等多种物理问题的处理。
关键创新：GEODE的主要创新在于其能够在不影响早期预测的情况下，通过参数隔离实现新的任务学习，且在多任务学习中表现出更好的性能。
关键设计：模型中采用了包含2.1%参数的私有接口进行新任务的训练，使用了特定的损失函数和优化策略，以确保在不同任务间的有效重用和性能提升。
🖼️ 关键图片
📊 实验亮点
实验结果显示，GEODE模型在多任务学习中保持了早期预测的准确性，而不受限制的微调则导致性能下降14-29倍，表明模型在任务特定操作上的优势。相较于传统方法，GEODE在处理五个问题中的三个上表现出更高的准确性，验证了其有效性。
🎯 应用场景
该研究的潜在应用领域包括能源系统优化、辐射剂量评估以及材料科学等领域。通过提高模型在异构科学接口下的适应性，GEODE有望在复杂物理问题的建模与仿真中发挥重要作用，推动相关领域的研究与应用发展。
📄 摘要（原文）
Scientific foundation models are commonly evaluated after heterogeneous physical problems have already been translated into a compatible gridded, tokenized or symbolic representation. This leaves the scientific interface outside both the pretrained model and the audit of what is actually reused. We study the complementary setting in which boundary histories, sparse monitor records and loading histories retain their native inference classes and their outputs remain on Cartesian, latitude-longitude and unstructured domains. GEODE couples task-specific scientific interfaces to a shared routed library of wavelet operators. A single jointly pretrained model represents cavity flow, radiation dose and elastoplastic stress, then acquires a heat exchanger and a reactor subchannel by training a private interface containing 2.1% of its parameters. Earlier predictions remain unchanged by parameter isolation, whereas unrestricted fine-tuning degrades them by factors of 14-29. Crucially, preservation alone does not establish reuse: norm-matched randomized-library controls show that the contribution of pretrained computation is conditional on the task and data regime. A separate decomposition shows that full-field relative L2 error can substantially understate error relative to spatial variation when field level dominates the norm. Task-specific operators remain more accurate on three of the five problems. These results distinguish multi-task coverage, preservation and pretrained reuse as separate properties that must be tested independently when scientific foundation models span heterogeneous interfaces.