SciHorizon-eLab: An Agentic Protocol-to-Task Compiler for Scalable Benchmarking of Scientific Embodied Agents

📄 arXiv: 2609.30971v1 📥 PDF

作者: Maokai Qin, Chuan Qin, Qi Zhang, Dianyu Liu, Zirui Liu, Hongting Niu, Yuanchun Zhou, Hengshu Zhu

分类: cs.AI

发布日期: 2026-09-25

🔗 代码/项目: GITHUB

💡 一句话要点

提出SciHorizon-eLab以解决科学实验自动化评估问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: 具身智能体 科学实验 自动化评估 任务编译 模拟认证 实验室基准 语义基础 任务合成

📋 核心要点

  1. 现有的实验室基准依赖手动任务工程，难以系统化地将科学协议转化为可执行任务。
  2. SciHorizon-eLab将科学实验协议编译为具身任务，采用语义基础和多阶段模拟认证的方式。
  3. 在代表性任务中，最强策略的平均成功率仅为49.7%，显示出人类与具身智能体协调的显著不足。

📝 摘要（中文）

具身智能体在自动化科学实验中展现出良好前景，但缺乏可靠的评估环境限制了其进展。现有的基于模拟的实验室基准依赖于手动任务工程，难以系统地将多样的科学协议编译为可执行的具身任务。为此，本文提出SciHorizon-eLab，一个将科学实验协议编译为具身任务的代理协议编译器。该系统通过语义基础、可执行任务合成和多阶段模拟认证，逐步将实验室协议编译为语义保留的具身任务。利用这一流程，构建了包含300个认证任务的基准，支持HIL任务执行和可重复的专家演示生成。

🔬 方法详解

问题定义：本文旨在解决现有科学实验自动化评估环境缺乏系统性和可靠性的问题。现有方法依赖手动任务工程，导致难以将多样的科学协议编译为可执行的具身任务。

核心思路：SciHorizon-eLab的核心思路是将科学实验协议的编译视为一个编译问题，通过语义基础和可执行任务合成来实现自动化。这样的设计使得任务编译过程更加系统化和高效。

技术框架：该系统的整体架构包括三个主要模块：语义基础模块、可执行任务合成模块和多阶段模拟认证模块。首先，通过语义基础将自然语言协议转化为结构化信息；然后，合成可执行的任务程序；最后，通过模拟认证确保任务的可执行性和有效性。

关键创新：最重要的创新在于将科学实验协议编译为具身任务的过程系统化，解决了现有方法中手动工程的局限性。与传统方法相比，SciHorizon-eLab能够生成语义保留的环境和可执行程序，提升了任务的可重复性和可靠性。

关键设计：在设计中，采用了多阶段的任务合成流程，确保每个阶段的输出都能保持语义一致性。此外，系统还支持生成逐步成功规格，以便于后续的评估和验证。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

在实验中，最强策略的平均成功率仅为49.7%，显示出在任务执行中存在显著的协调不足。该基准包含300个认证任务，支持HIL任务执行和可重复的专家演示生成，为后续研究提供了丰富的数据和评估工具。

🎯 应用场景

该研究的潜在应用领域包括科学实验自动化、机器人操作和智能实验室管理等。通过提供一个系统化的评估环境，SciHorizon-eLab能够促进具身智能体在科学研究中的应用，提升实验效率和可靠性，推动科学探索的进展。

📄 摘要（原文）

Embodied agents offer a promising route to automating scientific experimentation, yet their progress is constrained by the lack of reliable and systematic evaluation environments. Existing simulation-based laboratory benchmarks rely heavily on manual task engineering, making it challenging to systematically compile diverse scientific protocols into executable and verifiable embodied tasks at scale. To address this challenge, we introduce SciHorizon-eLab, an agentic protocol-to-task compiler that formulates scientific embodied task construction as a compilation problem. Given a natural-language protocol of scientific experiments, SciHorizon-eLab progressively compiles laboratory protocols into semantic-preserving embodied tasks through semantic grounding, executable task synthesis, and multi-stage simulation-based certification. The system generates semantically grounded environments, executable manipulation programs, and step-level success specifications, while enabling reproducible generation of expert demonstrations and execution traces. Using this pipeline, we further construct \BenchName, a ready-to-use benchmark comprising 300 certified tasks across diverse laboratory operations. It supports HIL task execution, reproducible expert-demonstration generation, and ordered step-level evaluation. Across representative tasks, the strongest policy attains an average success rate of only 49.7%, with further evaluations revealing pronounced weaknesses in human and embodied agent coordination. We publicly release the code, benchmark data, and evaluation toolkit at https://github.com/SciHorizon-elab/SciHorizon-elab.