OASBuilder: Generating OpenAPI Specifications from Online API Documentation with Large Language Models

📄 arXiv: 2507.05316v1 📥 PDF

作者: Koren Lazar, Matan Vetzler, Kiran Kate, Jason Tsay, David Boaz Himanshu Gupta, Avraham Shinnar, Rohith D Vallam, David Amid Esther Goldbraich, Guy Uziel, Jim Laredo, Ateret Anaby Tavor

分类: cs.SE, cs.AI

发布日期: 2025-07-07

💡 一句话要点

OASBuilder：利用大语言模型从在线API文档生成OpenAPI规范

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: API规范生成 大型语言模型 OpenAPI 自动化 文档解析

📋 核心要点

  1. 现有API信息通常以非结构化的HTML文档形式存在，手动转换为机器可读格式耗时费力。
  2. OASBuilder利用大语言模型和规则算法，结合领域知识，自动将API文档转换为OpenAPI规范。
  3. 实验证明OASBuilder能有效处理大量API，生成高质量的OpenAPI规范，已在企业环境中部署。

📝 摘要（中文）

本文提出OASBuilder，一个新颖的框架，可以将冗长且多样的API文档页面转换为一致的、机器可读的API规范。该框架通过精心设计的流程实现，该流程集成了大型语言模型和基于规则的算法，并由文档网页结构的领域知识指导。实验表明，OASBuilder可以很好地泛化到数百个API，并生成有效的OpenAPI规范，其中封装了原始文档中的大部分信息。OASBuilder已在企业环境中成功实施，节省了数千小时的人工工作，并使数百个复杂的企业API可以作为LLM的工具访问。

🔬 方法详解

问题定义：现有在线API文档通常以非结构化的HTML格式呈现，这使得AI Agent和业务自动化工具难以直接使用。人工将这些文档转换为机器可读的API规范（如OpenAPI规范）既耗时又容易出错。因此，需要一种自动化的方法，能够从非结构化的API文档中提取并生成标准的API规范。

核心思路：OASBuilder的核心思路是结合大型语言模型（LLM）的理解能力和基于规则的算法的精确性，构建一个pipeline，自动解析API文档并生成OpenAPI规范。LLM用于理解文档的语义信息，而规则算法则用于处理文档的结构信息，两者相互补充，提高生成规范的准确性和完整性。

技术框架：OASBuilder框架包含以下主要模块：1) 文档解析模块：负责解析HTML文档，提取文本和结构信息。2) 语义理解模块：利用LLM理解文档的语义信息，例如API的描述、参数类型等。3) 规范生成模块：根据语义理解的结果和预定义的规则，生成OpenAPI规范。4) 验证模块：验证生成的OpenAPI规范的有效性和完整性。整个流程由领域知识指导，例如API文档的常见结构和术语。

关键创新：OASBuilder的关键创新在于其结合了LLM和规则算法，并利用领域知识指导整个流程。与完全依赖LLM的方法相比，OASBuilder能够更好地处理文档的结构信息，生成更准确和完整的API规范。与完全依赖规则算法的方法相比，OASBuilder能够更好地理解文档的语义信息，处理更复杂的API文档。

关键设计：OASBuilder的关键设计包括：1) 精心设计的prompt，用于指导LLM理解文档的语义信息。2) 一组预定义的规则，用于处理文档的结构信息。3) 一个可扩展的架构，可以方便地添加新的模块和规则。4) 针对特定API文档结构的定制化处理，以提高生成规范的准确性。具体参数设置和损失函数等细节在论文中未明确说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

OASBuilder在数百个API上进行了测试，实验结果表明，它可以生成有效的OpenAPI规范，其中封装了原始文档中的大部分信息。该框架已在企业环境中成功实施，节省了数千小时的人工工作，并使数百个复杂的企业API可以作为LLM的工具访问。具体的性能数据和对比基线在摘要中未明确给出，属于未知信息。

🎯 应用场景

OASBuilder可应用于各种需要与外部Web服务交互的场景，例如AI Agent、业务流程自动化、API集成等。通过自动生成OpenAPI规范，OASBuilder可以降低API的使用门槛，提高开发效率，并促进不同系统之间的互操作性。未来，该技术有望应用于更广泛的领域，例如智能家居、物联网等。

📄 摘要（原文）

AI agents and business automation tools interacting with external web services require standardized, machine-readable information about their APIs in the form of API specifications. However, the information about APIs available online is often presented as unstructured, free-form HTML documentation, requiring external users to spend significant time manually converting it into a structured format. To address this, we introduce OASBuilder, a novel framework that transforms long and diverse API documentation pages into consistent, machine-readable API specifications. This is achieved through a carefully crafted pipeline that integrates large language models and rule-based algorithms which are guided by domain knowledge of the structure of documentation webpages. Our experiments demonstrate that OASBuilder generalizes well across hundreds of APIs, and produces valid OpenAPI specifications that encapsulate most of the information from the original documentation. OASBuilder has been successfully implemented in an enterprise environment, saving thousands of hours of manual effort and making hundreds of complex enterprise APIs accessible as tools for LLMs.