Adaptive Control of Scientific Instruments with Nonstationary Responses through Multimodal Agents
作者: Guoyang Shi, Hongwen Li, Yiding Yu, Zhuang Fu, Siqi Ding, Zhengyuan Chen, JianGuo Chen, Hanyue Zhao, Tianyuan Liu
分类: cs.AI
发布日期: 2026-10-23
💡 一句话要点
提出多模态智能体以解决科学仪器非平稳响应问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态智能体 科学仪器控制 非平稳响应 符号提取 记忆管理 聚变设备 实时反馈 操作优化
📋 核心要点
- 现有方法在面对科学仪器的非平稳响应时，无法有效调整操作参数，导致决策不准确。
- 本文提出的多模态智能体通过提取物理量和视觉证据，结合记忆和语言模型，生成适应性动作。
- 在实验中，该系统在409次执行中实现了86.80%的束流提取率，显著提升了操作效率和准确性。
📝 摘要（中文）
控制科学仪器需要根据反馈逐步调整参数。当未观察到的操作条件随操作历史演变时，响应变得非平稳，静态映射无法满足决策需求。本文提出了一种基于物理的多模态智能体，包含三个独立可审计的组件，通过对多通道波形提取符号物理量和视觉证据，利用双层记忆组织任务轨迹和经验，生成候选动作，并在执行前进行独立的可行性检查。在455次实验回放中，物理符号的表现优于波形图像，系统在五个离子源的监督操作中实现了86.80%的束流提取率，展示了该框架在物理科学仪器监督调谐中的工程可行性。
🔬 方法详解
问题定义：本文旨在解决科学仪器在非平稳响应情况下的控制问题，现有方法无法有效应对电极表面和真空条件的变化，导致实验结果不稳定。
核心思路：提出一种基于物理的多模态智能体，结合符号提取、记忆管理和动作生成，能够动态适应变化的操作条件。
技术框架：整体架构包括三个主要模块：1) 符号提取算法从多通道波形中提取物理量和视觉证据；2) 双层记忆系统组织当前任务和历史经验；3) 多模态大语言模型生成候选动作，并通过独立的可行性检查确保动作的执行有效性。
关键创新：最重要的创新在于将物理符号与视觉证据结合，通过多模态学习提升了决策的准确性和适应性，区别于传统的单一信号处理方法。
关键设计：系统设计中，采用了双层记忆结构以增强任务记忆，损失函数和网络结构经过优化，以确保在不同模型间的性能一致性。具体参数设置和模型训练细节在实验部分进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果显示，物理符号在质量分类中比波形图像提升了0.21-0.32的宏F1分数，历史行动方向的平均一致性提高了22.4-42.7个百分点。在五个离子源的监督操作中，系统实现了86.80%的束流提取率，表明其在实际应用中的有效性。
🎯 应用场景
该研究的潜在应用领域包括磁约束聚变设备中的离子源调谐、科学实验中的实时反馈控制等。通过提高科学仪器的操作效率和安全性，能够降低实验成本并减少操作风险，具有重要的实际价值和未来影响。
📄 摘要（原文）
Controlling scientific instruments requires parameters to be adjusted progressively in response to feedback from successive operations. When unobserved operating conditions evolve with operational history, responses become nonstationary, and a static mapping from actions to responses becomes inadequate for decisions across shots. Shot-to-shot tuning of neutral beam injection (NBI) ion sources in magnetic confinement fusion devices is representative of this class of problems: the conditions of electrode surfaces and vacuum are difficult to observe directly, discharge outcomes vary between shots, and experiments are costly and carry operational risks. We propose a physically grounded multimodal agent with three independently auditable components. Deterministic algorithms extract symbolic physical quantities and visual evidence from multichannel waveforms; a memory with two layers organizes trajectories from the current task, experience from earlier tasks, and procedural knowledge, from which a multimodal large language model (MLLM) generates candidate actions; and an independent action feasibility check enforces action constraints before execution. In a strictly chronological replay of 455 shots from four EXL-50U platforms, physical symbols alone outperformed waveform images alone by 0.21-0.32 in macro-F1 for quality classification across all four evaluated models. Retrieved context increased the mean agreement with historical action directions by 22.4-42.7 percentage points, whereas the contribution of visual evidence varied across models. Under supervised operation on five ion sources, the system achieved a beam-extraction rate of 86.80% across 409 executed shots. These results demonstrate the engineering feasibility of the framework for supervised sequential tuning on a physical scientific instrument.