Evaluating Local Language Model Agents for Reproducible Data Engineering: An Empirical Software Engineering Study of Mobility Workflows
作者: Jorge García-Carrasco, Javier Sanchis, Alejandro Reina-Reina, Alejandro Maté, Juan Trujillo
分类: cs.SE, cs.AI, cs.DB, cs.LG
发布日期: 2026-10-08
备注: Preprint, under review. 26 pages, 5 figures, 5 tables. Dataset: https://doi.org/10.5281/zenodo.21397610
💡 一句话要点
评估本地语言模型代理以支持可重复的数据工程工作
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 本地语言模型 数据工程 闭环工作空间 模型评估 工程自动化
📋 核心要点
- 现有方法对本地部署的开放权重语言模型代理的评估有限，缺乏对完整工程成果有效性的关注。
- 论文通过引入一个涵盖多种数据工程任务的基准，评估本地LLM代理的生成能力和可靠性。
- 实验结果显示，工作空间条件显著提高了模型的成功率，最强配置达到了85.3%的成果成功率。
📝 摘要（中文）
背景：大型语言模型（LLM）代理越来越多地被用作软件和数据工程助手，但关于可本地部署的开放权重代理的证据仍然有限。现有评估往往强调文本响应或孤立的代码生成，而非完整工程成果的有效性。目标：评估本地LLM代理是否能够生成正确且可重复的数据工程成果，量化闭环工作空间条件的影响，并考察模型规模、架构、量化、运行时、工具使用和失败之间的权衡。方法：引入涵盖数据发现、连接器、运输馈送处理、语义增强、特征工程、验证、可视化和报告的十五个移动工作流任务的基准。结果：在超过20亿参数的模型中，工作空间条件使通过率提高了26.7-52.0个百分点。结论：本地开放权重代理可以支持软件密集型数据工程工作的有意义子集，但可靠性依赖于模型能力、任务可验证性和确定性验证。
🔬 方法详解
问题定义：本研究旨在解决本地语言模型代理在数据工程任务中生成有效成果的能力不足，现有方法多集中于文本生成或孤立代码，缺乏对完整工程成果的评估。
核心思路：通过引入一个涵盖多种数据工程任务的基准，评估本地LLM代理在不同工作条件下的表现，特别是闭环工作空间的影响。
技术框架：整体架构包括任务基准、生成脚本的评估模块和确定性检查器，涵盖数据发现、连接器、处理、验证等多个阶段。
关键创新：引入了一个新的基准测试框架，能够全面评估本地LLM代理生成的完整工程成果，而不仅仅是孤立的代码或文本。
关键设计：实验中使用了十种本地配置，评估在一次性和闭环条件下的表现，采用了确定性检查器来评估生成的脚本、表格和报告等，确保结果的可重复性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，在超过20亿参数的模型中，闭环工作空间条件使通过率提高了26.7-52.0个百分点。最强配置达到了85.3%的成果成功率，而量化的9亿参数模型在约6.5GB内存占用下达到了69.3%的成功率。
🎯 应用场景
该研究的潜在应用领域包括软件开发、数据分析和工程自动化等。通过提供可靠的本地LLM代理，企业可以提高数据工程工作的效率和准确性，降低对外部工具的依赖，增强数据处理的自主性和灵活性。
📄 摘要（原文）
Context: Large language model (LLM) agents are increasingly used as software and data-engineering assistants, yet evidence about locally deployable open-weight agents remains limited. Existing evaluations often emphasize textual responses or isolated code generation rather than the validity of complete engineering artifacts. Objectives: We evaluate whether local LLM agents can produce correct and reproducible data-engineering artifacts, quantify the effect of a closed-loop workspace condition, and examine trade-offs in model scale, architecture, quantization, runtime, tool use, and failure. Methods: We introduce a benchmark of fifteen mobility-workflow tasks covering data discovery, connectors, transport-feed processing, semantic enrichment, feature engineering, validation, visualization, and reporting. Deterministic checkers assess generated scripts, tables, structured files, figures, and reports. Ten local configurations are evaluated in one-shot and closed-loop conditions, with five repetitions per model, mode, and task, yielding 1,500 scored attempts on a consumer-grade GPU. Results: Among models larger than two billion parameters, the workspace condition increases pass rates by 26.7-52.0 percentage points over one-shot generation. The strongest configuration reaches 85.3% artifact-level success, and a quantized 9-billion-parameter model reaches 69.3% with an approximately 6.5 GB memory footprint. Gains are largest when intermediate artifacts expose errors the agent can inspect and repair. Conclusion: Local open-weight agents can support a meaningful subset of software-intensive data-engineering work, but reliability depends on model capability, task verifiability, and deterministic validation. The benchmark provides a reproducible method for evaluating complete agent configurations before adoption in engineering workflows.