On LLM-Assisted Generation of Smart Contracts from Business Processes

📄 arXiv: 2507.23087v1 📥 PDF

作者: Fabian Stiehle, Hans Weytjens, Ingo Weber

分类: cs.SE, cs.AI

发布日期: 2025-07-30

备注: Accepted at the Workshop on Distributed Ledger Technologies in Business Process Management, At the International Conference for Business Process Management (BPM), 2025

💡 一句话要点

利用LLM从业务流程生成智能合约：自动化评估框架与性能分析

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 智能合约生成 大型语言模型 业务流程 自动化评估 代码生成 区块链 流程执行 资源分配

📋 核心要点

  1. 传统智能合约代码生成方法依赖于规则，存在局限性，难以处理复杂的业务流程。
  2. 探索利用大型语言模型（LLM）直接从业务流程描述生成智能合约代码，以提升生成效率和灵活性。
  3. 构建自动化评估框架，在大规模数据集上评估不同LLM在智能合约生成中的性能，并分析其可靠性。

📝 摘要（中文）

大型语言模型（LLM）正在改变软件的生产方式。在软件工程领域，LLM被广泛探索用于从不同类型的输入生成代码。本文旨在研究使用LLM从业务流程描述生成智能合约代码，这一想法旨在克服传统基于规则的代码生成方法的局限性。然而，目前基于LLM的工作通常只在小样本上评估生成的代码，依赖于人工检查或仅测试代码是否可以编译，而忽略了正确的执行。为此，我们引入了一个自动化的评估框架，并提供了来自更大规模流程模型数据集的经验数据。我们测试了不同类型和大小的LLM在实现流程执行的重要属性方面的能力，包括强制执行流程流、资源分配和基于数据的条件。结果表明，LLM的性能远未达到智能合约开发所需的完美可靠性。我们建议未来的工作探索将LLM负责任地集成到现有的代码生成工具中，以确保更可靠的输出。我们的基准测试框架可以作为开发和评估此类集成的基础。

🔬 方法详解

问题定义：现有基于规则的智能合约代码生成方法难以处理复杂的业务流程，且需要大量人工干预。基于LLM的代码生成方法虽然有潜力，但缺乏系统性的评估，尤其是在保证智能合约执行的正确性和可靠性方面。现有研究通常只关注代码是否能够编译通过，而忽略了其在实际业务流程中的执行效果。

核心思路：利用LLM强大的自然语言理解和代码生成能力，直接从业务流程的自然语言描述生成智能合约代码。核心在于将业务流程描述作为LLM的输入，并设计合适的prompt，引导LLM生成符合业务逻辑的智能合约代码。同时，构建自动化评估框架，对生成的智能合约进行全面测试，以验证其在流程执行、资源分配和数据条件处理方面的正确性。

技术框架：该研究主要包含两个核心部分：基于LLM的智能合约代码生成和自动化评估框架。代码生成部分，选择不同类型和大小的LLM，并设计合适的prompt，将业务流程描述输入LLM，生成智能合约代码。自动化评估框架包含：1）流程模型解析器，将业务流程模型转换为可执行的格式；2）智能合约部署器，将生成的智能合约部署到区块链测试网络；3）测试用例生成器，根据业务流程模型生成测试用例；4）执行引擎，执行测试用例，并记录智能合约的执行结果；5）评估模块，根据执行结果评估智能合约的正确性和可靠性。

关键创新：该研究的关键创新在于提出了一个自动化的评估框架，用于系统性地评估LLM生成的智能合约代码的质量。该框架能够自动生成测试用例，并验证智能合约在流程执行、资源分配和数据条件处理方面的正确性。此外，该研究还对不同类型和大小的LLM进行了全面的性能评估，为后续研究提供了重要的参考。

关键设计：在prompt设计方面，需要仔细设计prompt的结构和内容，以引导LLM生成符合业务逻辑的智能合约代码。例如，prompt可以包含业务流程的描述、输入输出数据的格式、以及智能合约需要满足的约束条件。在自动化评估框架方面，测试用例的生成需要覆盖各种可能的业务场景和边界条件。评估指标需要综合考虑智能合约的正确性、可靠性、效率和安全性。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，LLM在智能合约生成方面仍存在局限性，无法达到智能合约开发所需的完美可靠性。尽管LLM可以生成能够编译通过的代码，但在流程执行、资源分配和数据条件处理方面，其性能与人工编写的智能合约相比仍有差距。该研究强调了自动化评估框架的重要性，并为未来研究提供了基准。

🎯 应用场景

该研究成果可应用于智能合约的自动化生成，降低智能合约开发的门槛，加速区块链技术的应用。通过将业务流程描述直接转换为可执行的智能合约代码，可以提高开发效率，减少人工错误，并促进区块链技术在金融、供应链管理、医疗等领域的应用。

📄 摘要（原文）

Large language models (LLMs) have changed the reality of how software is produced. Within the wider software engineering community, among many other purposes, they are explored for code generation use cases from different types of input. In this work, we present an exploratory study to investigate the use of LLMs for generating smart contract code from business process descriptions, an idea that has emerged in recent literature to overcome the limitations of traditional rule-based code generation approaches. However, current LLM-based work evaluates generated code on small samples, relying on manual inspection, or testing whether code compiles but ignoring correct execution. With this work, we introduce an automated evaluation framework and provide empirical data from larger data sets of process models. We test LLMs of different types and sizes in their capabilities of achieving important properties of process execution, including enforcing process flow, resource allocation, and data-based conditions. Our results show that LLM performance falls short of the perfect reliability required for smart contract development. We suggest future work to explore responsible LLM integrations in existing tools for code generation to ensure more reliable output. Our benchmarking framework can serve as a foundation for developing and evaluating such integrations.