Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse
作者: Martin Bertran, Riccardo Fogliato, Zhiwei Steven Wu
分类: cs.AI, cs.LG
发布日期: 2026-02-21
💡 一句话要点
利用AI分析师群体解决数据分析结果依赖分析决策的问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI分析师 大型语言模型 多分析师研究 分析决策 数据分析偏差
📋 核心要点
- 现有研究表明，数据分析结论受分析决策影响，但传统“多分析师”研究成本高昂，难以大规模进行。
- 该论文提出利用基于大型语言模型的AI分析师群体，模拟多分析师研究，探索分析决策对结果的影响。
- 实验表明，AI分析师群体在相同数据集上对相同假设的分析结果存在显著差异，且结果分布可控。
📝 摘要（中文）
经验研究的结论不仅取决于数据，还取决于分析决策序列，而发表的结果很少明确说明这些决策。过去的“多分析师”研究已经证明了这一点：独立团队在相同数据集上测试相同的假设，经常得出相互冲突的结论。但此类研究需要在数十个研究小组之间进行数月的协调，因此很少进行。本文表明，基于大型语言模型（LLM）构建的完全自主的AI分析师可以低成本且大规模地重现类似的结构化分析多样性。我们要求这些AI分析师在固定数据集上测试预先指定的假设，并在重复运行中改变底层模型和提示框架。每个AI分析师独立构建和执行完整的分析流程；然后，AI审计员筛选每次运行的方法学有效性。在跨越实验和观察设计的三个数据集中，AI分析师产生的分析在效应大小、p值以及关于支持假设与否的二元决策中显示出广泛的离散性，经常逆转假设是否被判断为支持。这种离散性是结构化的：预处理、模型规范和推理中可识别的分析选择在LLM和角色条件之间存在系统性差异。关键是，这些影响是可控的：即使在排除方法学上有缺陷的运行之后，重新分配分析师角色或LLM也会改变结果的分布。
🔬 方法详解
问题定义：经验研究的结果受到分析过程中一系列决策的影响，而这些决策往往没有被明确记录。现有的“多分析师”研究虽然揭示了这种影响，但由于需要大量的人力协调，难以大规模开展，限制了我们对分析决策影响的深入理解。因此，如何低成本、大规模地模拟多分析师分析过程，成为了一个重要的研究问题。
核心思路：该论文的核心思路是利用大型语言模型（LLM）构建自主的AI分析师群体。每个AI分析师独立完成从数据预处理到模型推理的整个分析流程，通过改变LLM和提示词等条件，模拟不同分析师的决策风格。通过观察AI分析师群体在相同数据集和假设下的分析结果差异，来研究分析决策对结果的影响。
技术框架：该研究的技术框架主要包含两个模块：AI分析师和AI审计员。AI分析师负责独立完成数据分析流程，包括数据预处理、模型选择、模型训练和结果推断等步骤。AI审计员负责评估每个AI分析师的分析流程是否符合方法学规范，排除不合理的分析结果。整个流程通过控制LLM和提示词等条件，实现对分析决策的干预。
关键创新：该研究的关键创新在于利用LLM构建自主的AI分析师群体，实现了低成本、大规模的多分析师研究。与传统的多分析师研究相比，该方法无需大量的人力协调，可以快速生成大量的分析结果，从而更全面地评估分析决策对结果的影响。此外，该研究还提出了AI审计员的概念，用于评估分析流程的合理性，保证了研究结果的可靠性。
关键设计：研究中，AI分析师的角色通过不同的提示词进行定义，例如，可以指定AI分析师为“保守的统计学家”或“激进的数据科学家”。LLM的选择也会影响AI分析师的分析风格。此外，研究还设计了不同的数据预处理方法、模型选择策略和推理方法，以模拟不同的分析决策。AI审计员则根据预先设定的方法学规范，对每个AI分析师的分析流程进行评估，例如，检查是否存在数据泄露、模型选择是否合理等。
📊 实验亮点
实验结果表明，AI分析师群体在相同数据集和假设下，产生的分析结果存在显著差异，效应大小、p值和假设支持的二元决策经常发生逆转。通过改变LLM和分析师角色，可以控制结果的分布，即使排除方法学上有缺陷的运行，结果分布仍然会发生变化。这表明分析决策对结果的影响是显著且可控的。
🎯 应用场景
该研究成果可应用于评估数据分析流程的稳健性，帮助研究人员识别潜在的分析偏差，提高研究结果的可信度。此外，该方法还可以用于自动化数据分析流程，降低数据分析的成本和门槛。未来，该技术有望应用于科学研究、商业决策等领域，提高决策的科学性和效率。
📄 摘要（原文）
The conclusions of empirical research depend not only on data but on a sequence of analytic decisions that published results seldom make explicit. Past ``many-analyst" studies have demonstrated this: independent teams testing the same hypothesis on the same dataset regularly reach conflicting conclusions. But such studies require months of coordination among dozens of research groups and are therefore rarely conducted. In this work, we show that fully autonomous AI analysts built on large language models (LLMs) can reproduce a similar structured analytic diversity cheaply and at scale. We task these AI analysts with testing a pre-specified hypothesis on a fixed dataset, varying the underlying model and prompt framing across replicate runs. Each AI analyst independently constructs and executes a full analysis pipeline; an AI auditor then screens each run for methodological validity. Across three datasets spanning experimental and observational designs, AI analyst-produced analyses display wide dispersion in effect sizes, $p$-values, and binary decisions on supporting the hypothesis or not, frequently reversing whether a hypothesis is judged supported. This dispersion is structured: recognizable analytic choices in preprocessing, model specification, and inference differ systematically across LLM and persona conditions. Critically, the effects are \emph{steerable}: reassigning the analyst persona or LLM shifts the distribution of outcomes even after excluding methodologically deficient runs.