Agents of Discovery

📄 arXiv: 2509.08535v1 📥 PDF

作者: Sascha Diefenbacher, Anna Hallin, Gregor Kasieczka, Michael Krämer, Anne Lauscher, Tim Lukas

分类: hep-ph, cs.AI, cs.LG, hep-ex, physics.data-an

发布日期: 2025-09-10

💡 一句话要点

利用大型语言模型构建智能体团队，解决粒子物理数据分析中的异常检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 智能体 数据分析 异常检测 高能物理

📋 核心要点

  1. 现代物理学研究面临海量数据分析的挑战，传统机器学习方法依赖特定领域知识，缺乏通用性。
  2. 论文提出利用大型语言模型构建智能体团队，通过自主生成代码和迭代优化，解决数据分析问题。
  3. 实验表明，该智能体系统在LHC Olympics数据集上实现了与人类专家相当的异常检测性能。

📝 摘要（中文）

本文探索了一种新的数据分析方法，利用大型语言模型（LLM）的最新进展，创建一组智能体。这些智能体是具有特定子任务的LLM实例，它们协同解决基于数据分析的研究问题，类似于人类研究人员的方式：通过创建代码来操作标准工具和库（包括机器学习系统），并基于先前迭代的结果进行构建。如果成功，这种基于智能体的系统可以部署用于自动化常规分析组件，以应对现代工具链日益增长的复杂性。为了研究当前商业LLM的能力，我们考虑了通过公开且经过深入研究的LHC Olympics数据集进行异常检测的任务。我们研究了OpenAI的几个当前模型（GPT-4o、o4-mini、GPT-4.1和GPT-5），并测试了它们的稳定性。总体而言，我们观察到基于智能体的系统能够解决此数据分析问题。最佳智能体创建的解决方案反映了人类最先进的结果的性能。

🔬 方法详解

问题定义：现代粒子物理实验产生的数据量巨大，传统的数据分析方法往往需要人工设计特征和算法，耗时耗力，且依赖于专家知识。现有的机器学习方法虽然在某些特定任务上表现出色，但通常是针对特定问题定制的，缺乏通用性和灵活性。因此，如何自动化数据分析流程，降低对人工干预的依赖，成为一个重要的挑战。

核心思路：本文的核心思路是利用大型语言模型（LLM）的强大代码生成和理解能力，构建一个智能体团队。每个智能体负责一个特定的子任务，例如数据预处理、特征提取、模型训练和结果评估。这些智能体通过协作和迭代，共同解决复杂的数据分析问题。这种方法模仿了人类研究人员解决问题的过程，即通过编写代码、运行实验和分析结果来逐步改进解决方案。

技术框架：该智能体系统的整体架构包含以下几个主要模块：1) 任务分解模块：将原始的数据分析问题分解为一系列可执行的子任务。2) 智能体生成模块：为每个子任务创建一个或多个智能体，每个智能体都是一个LLM实例，并赋予其特定的角色和目标。3) 代码生成模块：智能体根据其角色和目标，生成用于执行子任务的代码。4) 执行和评估模块：执行生成的代码，并评估其结果。5) 迭代优化模块：根据评估结果，智能体可以修改其代码，或者与其他智能体进行交流和协作，以改进整体解决方案。

关键创新：该论文最重要的技术创新点在于将大型语言模型应用于自动化数据分析流程。与传统的机器学习方法相比，该方法不需要人工设计特征和算法，而是通过智能体自主生成代码来解决问题。这种方法具有更高的通用性和灵活性，可以应用于不同的数据分析任务。此外，该论文还探索了如何构建一个智能体团队，通过协作和迭代来提高整体性能。

关键设计：论文中使用了OpenAI的多个大型语言模型，包括GPT-4o、o4-mini、GPT-4.1和GPT-5。每个智能体的角色和目标是通过prompt engineering来定义的。例如，可以给一个智能体分配“数据预处理专家”的角色，并告诉它“你的目标是清洗和转换数据，使其适合用于后续的分析”。智能体生成的代码使用Python语言，并利用了常用的数据分析库，例如NumPy、Pandas和Scikit-learn。评估结果使用了标准的数据分析指标，例如AUC和准确率。

📊 实验亮点

实验结果表明，基于智能体的系统在LHC Olympics数据集上实现了与人类专家相当的异常检测性能。最佳智能体创建的解决方案的性能与人工设计的最先进算法相媲美，证明了该方法在复杂数据分析任务中的有效性。此外，论文还对不同LLM模型的性能进行了比较，并测试了智能体系统的稳定性。

🎯 应用场景

该研究成果可应用于高能物理、天文学、材料科学等领域的海量数据分析。通过自动化数据分析流程，可以加速科学发现，降低对人工干预的依赖，并使研究人员能够专注于更具创造性的任务。未来，该方法有望扩展到其他领域，例如金融风险管理、医疗诊断和智能制造。

📄 摘要（原文）

The substantial data volumes encountered in modern particle physics and other domains of fundamental physics research allow (and require) the use of increasingly complex data analysis tools and workflows. While the use of machine learning (ML) tools for data analysis has recently proliferated, these tools are typically special-purpose algorithms that rely, for example, on encoded physics knowledge to reach optimal performance. In this work, we investigate a new and orthogonal direction: Using recent progress in large language models (LLMs) to create a team of agents -- instances of LLMs with specific subtasks -- that jointly solve data analysis-based research problems in a way similar to how a human researcher might: by creating code to operate standard tools and libraries (including ML systems) and by building on results of previous iterations. If successful, such agent-based systems could be deployed to automate routine analysis components to counteract the increasing complexity of modern tool chains. To investigate the capabilities of current-generation commercial LLMs, we consider the task of anomaly detection via the publicly available and highly-studied LHC Olympics dataset. Several current models by OpenAI (GPT-4o, o4-mini, GPT-4.1, and GPT-5) are investigated and their stability tested. Overall, we observe the capacity of the agent-based system to solve this data analysis problem. The best agent-created solutions mirror the performance of human state-of-the-art results.