MTP: A Meaning-Typed Language Abstraction for AI-Integrated Programming
作者: Jayanaka L. Dantanarayana, Yiping Kang, Kugesan Sivasothynathan, Christopher Clarke, Baichuan Li, Savini Kashmira, Krisztian Flautner, Lingjia Tang, Jason Mars
分类: cs.PL, cs.AI
发布日期: 2024-05-14 (更新: 2025-09-15)
备注: OOPSLA 2025
💡 一句话要点
提出MTP：一种面向AI集成编程的语义类型语言抽象，简化LLM集成。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: AI集成编程 大语言模型 语义类型编程 语言抽象 提示工程
📋 核心要点
- 现有AI集成应用开发中，LLM集成复杂，开发者需手动设计提示和处理输出，增加了开发难度。
- MTP通过语言级抽象简化LLM集成，利用代码语义自动生成提示和处理响应，降低开发者工作量。
- 实验表明，MTP降低了编码复杂性，提高了开发效率，并在代码质量下降时保持了鲁棒性。
📝 摘要（中文）
软件开发正从传统编程转向利用生成式AI和大语言模型（LLM）的AI集成应用。然而，集成LLM仍然复杂，需要开发者手动设计提示并处理输出。现有工具试图辅助提示工程，但通常引入额外的复杂性。本文提出了语义类型编程（MTP），一种通过直观的语言级结构抽象LLM集成的新范式。通过利用代码固有的语义丰富性，MTP自动生成提示和处理响应，无需额外的开发者工作。我们引入了用于无缝LLM调用的(1) by运算符，(2) MT-IR，一种用于语义提取的基于含义的中间表示，以及(3) MT-Runtime，一种用于管理LLM交互的自动化系统。我们在Jac（一种Python超集编程语言）中实现了MTP，发现MTP显著降低了编码复杂性，同时保持了准确性和效率。MTP显著降低了开发复杂性、所需代码修改行数和成本，同时提高了运行时性能，并保持或超过了现有方法的准确性。我们的用户研究表明，使用MTP的开发者完成任务的速度提高了3.2倍，代码行数减少了45%。此外，MTP即使在高达50%的命名约定退化的情况下也表现出弹性，证明了对次优代码的鲁棒性。MTP是作为Jaseci开源项目的一部分开发的，并且可以通过byLLM模块获得。
🔬 方法详解
问题定义：当前AI集成编程面临的挑战是如何简化大语言模型（LLM）的集成。开发者需要手动设计提示（prompts）并处理LLM的输出，这既耗时又容易出错。现有的提示工程工具虽然有所帮助，但往往引入了额外的复杂性，并没有从根本上解决问题。现有方法的痛点在于缺乏一种高级抽象，能够让开发者以更自然、更高效的方式利用LLM的能力。
核心思路：MTP的核心思路是通过引入一种新的编程范式，将LLM的调用和处理过程抽象成语言级别的操作。它利用代码本身的语义信息，自动生成合适的提示，并对LLM的输出进行类型化处理。这种方法的核心在于将LLM视为一种具有特定语义类型的函数，从而可以像调用普通函数一样调用LLM，而无需关心底层的提示工程细节。
技术框架：MTP的技术框架主要包含三个组成部分：(1) by 运算符：用于无缝调用LLM；(2) MT-IR（Meaning-Typed Intermediate Representation）：一种基于含义的中间表示，用于提取代码的语义信息；(3) MT-Runtime：一个自动化系统，用于管理LLM的交互过程。开发者使用by运算符在代码中指定需要LLM处理的部分，MT-IR负责提取这部分代码的语义信息，MT-Runtime则根据这些语义信息生成提示，调用LLM，并对LLM的输出进行类型检查和处理。
关键创新：MTP最重要的技术创新点在于它将LLM的集成从手动的提示工程转变为语言级别的抽象。与现有方法相比，MTP不需要开发者手动编写和维护复杂的提示，而是通过代码的语义信息自动生成提示。这种方法不仅简化了开发过程，还提高了代码的可读性和可维护性。此外，MT-IR的使用使得MTP能够更好地理解代码的语义，从而生成更有效的提示。
关键设计：by运算符是MTP的关键设计之一，它允许开发者以一种简洁直观的方式调用LLM。MT-IR的设计需要考虑如何有效地提取代码的语义信息，例如变量名、函数名、注释等。MT-Runtime需要实现提示的自动生成、LLM的调用、以及输出的类型检查和处理。具体的参数设置、损失函数和网络结构等细节取决于所使用的LLM和具体的应用场景，论文中可能没有详细描述。
🖼️ 关键图片
📊 实验亮点
用户研究表明，使用MTP的开发者完成任务的速度提高了3.2倍，代码行数减少了45%。即使在高达50%的命名约定退化的情况下，MTP仍然表现出弹性，证明了其对次优代码的鲁棒性。这些结果表明，MTP在提高开发效率和代码质量方面具有显著优势。
🎯 应用场景
MTP的应用场景广泛，包括自然语言处理、代码生成、智能问答、自动化测试等。它能够帮助开发者更轻松地构建AI集成的应用程序，提高开发效率，降低开发成本。未来，MTP有望成为AI集成编程的标准范式，推动AI技术在软件开发领域的普及和应用。
📄 摘要（原文）
Software development is shifting from traditional programming to AI-integrated applications that leverage generative AI and large language models (LLMs) during runtime. However, integrating LLMs remains complex, requiring developers to manually craft prompts and process outputs. Existing tools attempt to assist with prompt engineering, but often introduce additional complexity. This paper presents Meaning-Typed Programming (MTP), a novel paradigm that abstracts LLM integration through intuitive language-level constructs. By leveraging the inherent semantic richness of code, MTP automates prompt generation and response handling without additional developer effort. We introduce the (1) by operator for seamless LLM invocation, (2) MT-IR, a meaning-based intermediate representation for semantic extraction, and (3) MT-Runtime, an automated system for managing LLM interactions. We implement MTP in Jac, a programming language that supersets Python, and find that MTP significantly reduces coding complexity while maintaining accuracy and efficiency. MTP significantly reduces development complexity, lines of code modifications needed, and costs while improving run-time performance and maintaining or exceeding the accuracy of existing approaches. Our user study shows that developers using MTP completed tasks 3.2x faster with 45% fewer lines of code compared to existing frameworks. Moreover, MTP demonstrates resilience even when up to 50% of naming conventions are degraded, demonstrating robustness to suboptimal code. MTP is developed as part of the Jaseci open-source project, and is available under the module byLLM.