Evaluating LLM-Based 0-to-1 Software Generation in End-to-End CLI Tool Scenarios
作者: Ruida Hu, Xinchen Wang, Chao Peng, Cuiyun Gao, David Lo
分类: cs.SE, cs.AI
发布日期: 2026-07-20
💡 一句话要点
提出CLI-Tool-Bench以评估LLM驱动的从零到一软件生成能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 软件生成 命令行工具 黑盒测试 自动化开发 基准评估 代码生成
📋 核心要点
- 现有基准依赖于预定义结构和严格的白盒测试，无法有效评估LLM的从零到一生成能力。
- 本文提出CLI-Tool-Bench，采用结构无关的方式评估命令行工具的生成，使用黑盒测试框架进行评估。
- 实验结果显示，顶级模型的成功率仅为43.8%，且生成的代码往往为单体结构，表明该领域仍需进一步研究。
📝 摘要（中文）
大型语言模型（LLMs）的发展推动了意图驱动的软件开发，但现有基准未能充分评估从零到一的生成能力，主要由于依赖预定义结构和严格的白盒单元测试。为此，本文提出了CLI-Tool-Bench，这是一个新颖的、结构无关的基准，旨在评估命令行工具的从头生成能力。该基准包含94个高质量的真实世界代码库，采用自动化黑盒差异测试框架，评估生成软件的系统级副作用和终端输出。对七种最先进的LLM的广泛评估显示，顶级模型的整体成功率最高仅为43.8%，表明从零到一的软件生成仍然是一个极具挑战性的领域。
🔬 方法详解
问题定义：本文旨在解决现有基准无法有效评估LLM从零到一生成能力的问题，现有方法依赖于预定义结构和白盒测试，限制了生成的灵活性和有效性。
核心思路：提出CLI-Tool-Bench基准，采用结构无关的评估方式，允许LLM在空白工作区中自主规划和处理依赖关系，从而更真实地模拟软件开发过程。
技术框架：整体架构包括一个空白工作区供LLM生成代码，使用黑盒差异测试框架评估生成软件的行为，比较系统级副作用和终端输出与人类编写的参考实现。
关键创新：CLI-Tool-Bench的设计使得评估不再依赖于固定结构，能够更全面地评估LLM的生成能力，尤其是在处理复杂依赖关系时的表现。
关键设计：基准包含94个真实世界的代码库，涵盖多种编程语言和复杂度，评估过程中使用多层次等价度量标准，确保生成代码的有效性和可靠性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，七种最先进的LLM在CLI-Tool-Bench上的整体成功率最高仅为43.8%，显示出从零到一的软件生成仍然是一个具有挑战性的任务。此外，生成的代码往往呈现出单体结构，且更高的令牌消耗并不一定带来更好的任务表现。
🎯 应用场景
该研究的潜在应用领域包括自动化软件开发、智能编程助手和代码生成工具。通过提高LLM在软件生成中的能力，可以显著提升开发效率，降低人力成本，并推动软件工程的智能化发展。未来，CLI-Tool-Bench可能成为评估新一代编程模型的重要标准。
📄 摘要（原文）
The evolution of Large Language Models (LLMs) has catalyzed a paradigm shift towards intent-driven software development, where autonomous agents are expected to design and deliver complete, runnable software systems from scratch. However, existing benchmarks fail to adequately assess this 0-to-1 generation capability due to two fundamental limitations. First, they rely on predefined structural scaffolds, which reduces the task to mere file-filling. Second, they depend on rigid white-box unit testing, which forces generated code to conform to specific internal implementations rather than validating end-to-end user-centric behavior.To bridge this gap, we introduce CLI-Tool-Bench, a novel, structure-agnostic benchmark designed to evaluate the ground-up generation of Command-Line Interface (CLI) tools. Powered by an automated black-box differential testing framework, the benchmark comprises 94 high-quality, real-world repositories spanning diverse programming languages and complexity levels. For each task, agents are provided with an empty workspace, forcing them to autonomously handle repository planning and dependencies. We evaluate the generated software by executing it in isolated sandboxes. The system-level side effects and terminal outputs are then compared against human-written oracles using a rigorous multi-tiered equivalence metric.Extensive evaluation of seven state-of-the-art LLMs reveals that the top-tier models achieve a maximum overall success rate of only 43.8%, highlighting that 0-to-1 software generation remains a highly challenging frontier. Furthermore, we discover that agents exhibit a strong tendency to generate monolithic code structures, and that higher token consumption does not necessarily yield better task performance.