LABSHIELD: A Multimodal Benchmark for Safety-Critical Reasoning and Planning in Scientific Laboratories
作者: Qianpu Sun, Xiaowei Chi, Yuhan Rui, Ying Li, Kuangzhi Ge, Jiajun Li, Sirui Han, Shanghang Zhang
分类: cs.AI
发布日期: 2026-03-12
💡 一句话要点
LABSHIELD：用于科学实验室中安全关键推理和规划的多模态基准测试
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 安全关键推理 实验室自动化 具身智能体 基准测试 危险识别 安全规划
📋 核心要点
- 现有具身智能体在实验室环境中缺乏充分的安全意识和决策可靠性评估，尤其是在涉及危险物质和精密仪器的场景下。
- LABSHIELD基准测试旨在通过模拟真实实验室环境，评估多模态大型语言模型在危险识别和安全关键推理方面的能力。
- 实验结果揭示了模型在通用领域和专业实验室场景下的性能差距，强调了安全中心推理框架的必要性。
📝 摘要（中文）
人工智能正日益推动科学自动化，多模态大型语言模型（MLLM）智能体正从实验室助手演变为自动驾驶实验室操作员。这种转变对实验室环境提出了严格的安全要求，因为脆弱的玻璃器皿、危险物质和高精度实验室设备使得规划错误或对风险的误解可能造成不可逆转的后果。然而，具身智能体在这种高风险环境中的安全意识和决策可靠性尚未得到充分定义和评估。为了弥合这一差距，我们推出了LABSHIELD，这是一个现实的多视角基准，旨在评估MLLM在危险识别和安全关键推理方面的能力。LABSHIELD基于美国职业安全与健康管理局（OSHA）标准和全球统一制度（GHS），建立了一个严格的安全分类体系，涵盖164项操作任务，这些任务具有不同的操作复杂性和风险概况。我们评估了20个专有模型、9个开源模型和3个具身模型，采用双轨评估框架。结果表明，通用领域的多项选择题准确率与半开放式问答安全性能之间存在系统性差距，模型在专业实验室场景中的平均下降幅度为32.0%，尤其是在危险解释和安全感知规划方面。这些发现强调了对以安全为中心的推理框架的迫切需求，以确保在具身实验室环境中进行可靠的自主科学实验。完整数据集即将发布。
🔬 方法详解
问题定义：论文旨在解决具身智能体在科学实验室环境中进行安全关键推理和规划的问题。现有方法在理解和处理实验室环境中存在的各种安全风险方面存在不足，导致智能体在执行任务时可能做出不安全的决策。这些痛点包括对危险物质的错误识别、对操作规程的误解以及对潜在风险的忽视。
核心思路：论文的核心思路是构建一个现实的多视角基准测试环境LABSHIELD，该环境能够模拟真实的实验室场景，并提供丰富的多模态信息（例如，图像、文本）。通过在该环境中评估MLLM智能体的安全推理能力，可以识别其在安全方面的弱点，并促进安全中心推理框架的开发。
技术框架：LABSHIELD基准测试包含以下主要模块：1) 场景构建模块，用于创建包含各种实验室设备、化学品和操作任务的虚拟环境；2) 任务定义模块，用于定义164项具有不同操作复杂性和风险概况的任务，这些任务基于OSHA和GHS标准；3) 评估模块，用于评估MLLM智能体在危险识别、安全推理和安全感知规划方面的能力，采用双轨评估框架（多项选择题和半开放式问答）。
关键创新：该论文的关键创新在于提出了一个专门针对科学实验室安全关键推理和规划的多模态基准测试LABSHIELD。与现有的通用领域基准测试相比，LABSHIELD更侧重于评估智能体在特定领域的安全意识和决策能力。此外，LABSHIELD还引入了基于OSHA和GHS标准的严格安全分类体系，为智能体的安全性能评估提供了标准化的依据。
关键设计：LABSHIELD的关键设计包括：1) 多视角场景表示，提供来自不同角度的图像和文本信息，以增强智能体对环境的理解；2) 基于OSHA和GHS标准的任务设计，确保任务的真实性和安全性；3) 双轨评估框架，同时评估智能体的选择题准确率和开放式问答能力，以全面评估其安全推理能力。论文未提及具体的参数设置、损失函数或网络结构等技术细节，这部分信息未知。
🖼️ 关键图片
📊 实验亮点
实验结果表明，现有MLLM智能体在通用领域表现良好，但在专业实验室场景中的安全性能显著下降，平均下降幅度为32.0%。这表明现有模型在危险解释和安全感知规划方面存在不足，需要进一步改进。LABSHIELD基准测试为评估和改进智能体的安全性能提供了一个有效的平台。
🎯 应用场景
该研究成果可应用于开发更安全、更可靠的实验室自动化系统。通过提高智能体在实验室环境中的安全意识和决策能力，可以减少人为错误，降低事故风险，并加速科学研究的进程。未来，该研究还可以扩展到其他高风险领域，如医疗保健、核能等。
📄 摘要（原文）
Artificial intelligence is increasingly catalyzing scientific automation, with multimodal large language model (MLLM) agents evolving from lab assistants into self-driving lab operators. This transition imposes stringent safety requirements on laboratory environments, where fragile glassware, hazardous substances, and high-precision laboratory equipment render planning errors or misinterpreted risks potentially irreversible. However, the safety awareness and decision-making reliability of embodied agents in such high-stakes settings remain insufficiently defined and evaluated. To bridge this gap, we introduce LABSHIELD, a realistic multi-view benchmark designed to assess MLLMs in hazard identification and safety-critical reasoning. Grounded in U.S. Occupational Safety and Health Administration (OSHA) standards and the Globally Harmonized System (GHS), LABSHIELD establishes a rigorous safety taxonomy spanning 164 operational tasks with diverse manipulation complexities and risk profiles. We evaluate 20 proprietary models, 9 open-source models, and 3 embodied models under a dual-track evaluation framework. Our results reveal a systematic gap between general-domain MCQ accuracy and Semi-open QA safety performance, with models exhibiting an average drop of 32.0% in professional laboratory scenarios, particularly in hazard interpretation and safety-aware planning. These findings underscore the urgent necessity for safety-centric reasoning frameworks to ensure reliable autonomous scientific experimentation in embodied laboratory contexts. The full dataset will be released soon.