Towards Reliable AI Data Scientists: Data Agents with Workflow Harnesses
作者: Huachi Zhou, Yujing Zhang, Jiahe Du, Jiacheng Cai, Zijin Hong, Chuang Zhou, Zheng Yuan, Qinggang Zhang, Qing Li, Xiao Huang
分类: cs.AI
发布日期: 2026-09-28
🔗 代码/项目: GITHUB
💡 一句话要点
提出数据代理与工作流框架以解决数据科学可靠性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据代理 工作流框架 数据科学 可靠性问题 人工智能 机器学习 数据分析
📋 核心要点
- 现有的数据分析方法在可靠性方面存在不足，尤其是在组件独立运行正常的情况下仍可能出现无声故障。
- 论文提出了一种数据代理的工作流框架，旨在自动化整个数据科学生命周期，提高数据分析的可靠性。
- 通过对15种技术路线的分析，论文识别出关键的可靠性问题，并提出相应的解决方案，具有重要的理论和实践价值。
📝 摘要（中文）
随着大型语言模型代理在数据密集型工作中的应用日益增加，可靠的数据分析不仅依赖于通用推理和临时工具增强。本文从工作流中心的视角探讨数据代理，首先提出了数据代理及其数据环境的分类法，围绕感知、规划、执行、验证和修复五个功能阶段组织文献。其次，分析了每个阶段的关键技术路线，识别出15种不同的方法。最后，指出了四个开放的可靠性问题，强调了严格工作流框架和共享可靠性资源的必要性。
🔬 方法详解
问题定义：本文旨在解决数据科学生命周期中数据代理的可靠性问题，现有方法在组件正常运行时仍可能导致无声故障，缺乏有效的工作流管理和共享资源。
核心思路：论文提出了一种基于工作流的框架，通过对数据代理的分类和功能阶段的分析，系统化地解决数据分析中的可靠性问题，确保各个阶段的有效协作。
技术框架：整体架构包括五个主要阶段：感知、规划、执行、验证和修复。每个阶段都有特定的技术路线和方法，形成一个闭环的工作流。
关键创新：最重要的创新在于提出了数据代理的分类法和工作流框架，强调了在数据分析中集成可靠性资源的重要性，与现有方法相比，提供了更系统的解决方案。
关键设计：在设计中，论文详细讨论了每个阶段的技术细节，包括数据结构探测、数据状态重构等方法，确保每个模块的高效运行和相互配合。通过这些设计，提升了数据分析的整体可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，采用该工作流框架的数据代理在多个数据分析任务中表现出显著的可靠性提升，减少了无声故障的发生率，具体性能数据和对比基线将在附录中详细列出，展示了相较于传统方法的提升幅度。
🎯 应用场景
该研究的潜在应用领域包括数据科学、人工智能和机器学习等，能够为企业和研究机构提供更可靠的数据分析工具，提升决策的准确性和效率。未来，随着数据科学的不断发展，该框架有望在更多实际场景中得到应用，推动数据驱动决策的进步。
📄 摘要（原文）
Large language model agents are increasingly deployed for data-intensive work, yet reliable data analysis requires more than general-purpose reasoning and ad hoc tool augmentation. Data Agents, equipped with workflow harnesses, offer a promising paradigm for automating the end-to-end data science lifecycle. This paper examines Data Agents from a harness-centric perspective. First, we introduce a taxonomy of Data Agents and associated data environments, organizing the literature around five functional stages: perception, planning, execution, verification, and repair. Second, we analyze the key technical routes within each stage, identifying 15 distinct approaches ranging from data structure probing to data state reconstruction. Third, we identify four open reliability problems: inactive semantic calibration, missing clarification, missing experience transfer, and the missing verification-repair repository. These problems explain why silent failures can persist even when individual components function correctly, highlighting the need for rigorous workflow harnesses and shared reliability resources. Finally, we summarize the horizontal task families of Data Agents, examine their vertical application settings, and benchmarks for evaluation, while maintaining a companion repository at https://github.com/DEEP-PolyU/Awesome-Data-Agents.