PolyReal: A Benchmark for Real-World Polymer Science Workflows

📄 arXiv: 2604.02934 📥 PDF

作者: Wanhao Liu, Weida Wang, Jiaqing Xie, Suorong Yang, Jue Wang, Benteng Chen, Guangtao Mei, Zonglin Yang, Shufei Zhang, Yuchun Mo, Lang Cheng, Jin Zeng, Houqiang Li, Wanli Ouyang, Yuqiang Li

分类: cs.CV

发布日期: 2026-04-06

💡 一句话要点

PolyReal：面向真实世界聚合物科学工作流的多模态大语言模型基准

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 聚合物科学 多模态大语言模型 基准测试 真实世界工作流 实验生命周期

📋 核心要点

  1. 现有聚合物科学基准缺乏对真实世界工作流的覆盖，限制了MLLM在实际科研中的应用评估。
  2. PolyReal基准旨在全面评估MLLM在聚合物实验全生命周期中的能力，涵盖知识、安全、推理、数据提取和应用探索。
  3. 实验表明，MLLM在知识推理方面表现良好，但在实践任务中性能显著下降，揭示了抽象知识与实际应用间的差距。

📝 摘要（中文）

多模态大语言模型(MLLMs)在通用领域表现出色，但在复杂、真实的科学领域中表现不佳。聚合物科学是一个跨化学、物理、生物和工程的交叉学科，由于其多样化的多模态数据，是理想的高风险测试平台。然而，现有的聚合物科学相关基准在很大程度上忽略了真实世界的工作流程，限制了它们的实际效用，并且未能系统地评估 MLLM 在实验的完整、实践基础生命周期中的表现。我们引入了 PolyReal，这是一个基于真实世界科学实践的新型多模态基准，用于评估 MLLM 在聚合物实验的完整生命周期中的表现。它涵盖五个关键能力：(1)基础知识应用；(2)实验室安全分析；(3)实验机制推理；(4)原始数据提取；(5)性能与应用探索。我们对领先的 MLLM 在 PolyReal 上的评估揭示了能力不平衡。虽然模型在知识密集型推理（例如，实验机制推理）方面表现良好，但在基于实践的任务（例如，实验室安全分析和原始数据提取）方面急剧下降。这暴露了抽象科学知识与其在实践中、依赖于上下文的应用之间的严重差距，表明这些真实世界的任务对 MLLM 仍然具有挑战性。因此，PolyReal 有助于解决这一评估差距，并为评估真实世界科学工作流程中的 AI 系统提供了一个实用的基准。

🔬 方法详解

问题定义：现有聚合物科学相关的基准测试，无法全面评估多模态大语言模型（MLLM）在真实科研场景中的能力。这些基准往往忽略了实验的完整生命周期，特别是实验室安全分析、原始数据提取等实践性环节，导致模型在抽象知识理解和实际应用之间存在脱节。因此，需要一个更贴近真实科研流程的基准，来系统性地评估MLLM在聚合物科学领域的潜力。

核心思路：PolyReal的核心思路是构建一个基于真实世界聚合物科学实践的多模态基准，覆盖实验的完整生命周期。通过模拟真实的科研工作流程，全面评估MLLM在不同任务中的表现，从而发现模型在知识应用、安全分析、实验推理、数据提取和应用探索等方面的优势和不足。这样可以更有效地指导模型优化，提升其在实际科研中的应用价值。

技术框架：PolyReal基准主要包含五个关键能力评估模块：1) 基础知识应用：考察模型对聚合物科学基础知识的掌握程度；2) 实验室安全分析：评估模型识别和分析实验安全风险的能力；3) 实验机制推理：测试模型对实验原理和机制的理解和推理能力；4) 原始数据提取：评估模型从实验数据中提取关键信息的能力；5) 性能与应用探索：考察模型对聚合物材料性能预测和应用场景探索的能力。每个模块都包含多个任务，并提供相应的多模态数据和评估指标。

关键创新：PolyReal的关键创新在于其真实性和全面性。它不仅关注模型对抽象知识的理解，更强调模型在实际科研流程中的应用能力。通过覆盖实验的完整生命周期，PolyReal能够更准确地评估MLLM在聚合物科学领域的潜力，并为模型优化提供更有效的指导。此外，PolyReal的多模态数据也更贴近真实科研场景，能够更好地反映模型在处理复杂科研问题时的表现。

关键设计：PolyReal在任务设计上力求贴近真实科研流程。例如，在实验室安全分析模块，模型需要根据实验步骤和设备信息，识别潜在的安全风险并提出相应的防护措施。在原始数据提取模块，模型需要从实验数据表格或图像中提取关键参数，并进行数据清洗和分析。此外，PolyReal还提供了详细的评估指标，用于量化模型在不同任务中的表现，并进行模型之间的比较。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，领先的MLLM在PolyReal基准的知识密集型推理任务（如实验机制推理）中表现良好，但在实践性任务（如实验室安全分析和原始数据提取）中性能显著下降。这表明现有MLLM在抽象科学知识和实际应用之间存在较大差距，PolyReal能够有效揭示这一差距，并为模型优化提供方向。

🎯 应用场景

PolyReal基准的潜在应用领域包括：辅助聚合物材料设计与合成、智能实验室安全管理、自动化实验数据分析与挖掘、以及个性化科研助手开发。通过提升MLLM在聚合物科学领域的应用能力，可以加速新材料的研发进程，提高科研效率，并降低实验风险，最终推动聚合物科学的发展。

📄 摘要（原文）

Multimodal Large Language Models (MLLMs) excel in general domains but struggle with complex, real-world science. We posit that polymer science, an interdisciplinary field spanning chemistry, physics, biology, and engineering, is an ideal high-stakes testbed due to its diverse multimodal data. Yet, existing benchmarks related to polymer science largely overlook real-world workflows, limiting their practical utility and failing to systematically evaluate MLLMs across the full, practice-grounded lifecycle of experimentation. We introduce PolyReal, a novel multimodal benchmark grounded in real-world scientific practices to evaluate MLLMs on the full lifecycle of polymer experimentation. It covers five critical capabilities: (1) foundational knowledge application; (2) lab safety analysis; (3) experiment mechanism reasoning; (4) raw data extraction; and (5) performance & application exploration. Our evaluation of leading MLLMs on PolyReal reveals a capability imbalance. While models perform well on knowledge-intensive reasoning (e.g., Experiment Mechanism Reasoning), they drop sharply on practice-based tasks (e.g., Lab Safety Analysis and Raw Data Extraction). This exposes a severe gap between abstract scientific knowledge and its practical, context-dependent application, showing that these real-world tasks remain challenging for MLLMs. Thus, PolyReal helps address this evaluation gap and provides a practical benchmark for assessing AI systems in real-world scientific workflows.