LILO: Learning Interpretable Libraries by Compressing and Documenting Code
作者: Gabriel Grand, Lionel Wong, Maddy Bowers, Theo X. Olausson, Muxin Liu, Joshua B. Tenenbaum, Jacob Andreas
分类: cs.CL, cs.AI, cs.LG, cs.PL
发布日期: 2023-10-30 (更新: 2024-03-15)
备注: ICLR 2024 camera-ready
💡 一句话要点
提出LILO框架以优化代码库的生成与文档化
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 代码生成 自动化重构 神经符号方法 可解释性 程序合成 文档化
📋 核心要点
- 现有方法在代码重构和库生成方面效率低下，难以生成可读性高且可重用的代码。
- LILO框架通过结合大型语言模型和符号压缩技术，提供了一种新的迭代合成、压缩和文档化代码的方法。
- 在三个归纳程序合成基准上，LILO相较于现有方法解决了更复杂的任务，并学习到了更丰富的库。
📝 摘要（中文）
尽管大型语言模型在代码生成方面表现出色，但软件开发中的重构艺术仍然是一个关键方面。本文介绍了LILO，一个神经符号框架，能够迭代地合成、压缩和文档化代码，以构建针对特定问题领域的库。LILO结合了基于大型语言模型的程序合成与自动化重构的最新算法进展，通过符号压缩系统Stitch有效识别大型代码语料库中的最佳lambda抽象。为了使这些抽象具有可解释性，本文引入了一种自动文档化程序（AutoDoc），根据上下文示例推断自然语言名称和文档字符串。实验表明，AutoDoc不仅提高了人类可读性，还通过帮助LILO的合成器理解和部署学习到的抽象，提升了性能。
🔬 方法详解
问题定义：本文旨在解决现有代码生成和重构方法在生成可读性和可重用性高的代码库方面的不足，尤其是在处理复杂任务时的局限性。
核心思路：LILO框架通过结合大型语言模型的程序合成能力与符号压缩技术，提供了一种高效的代码库生成和文档化方案，旨在提高代码的可读性和可重用性。
技术框架：LILO的整体架构包括三个主要模块：代码合成模块、符号压缩模块和自动文档化模块。代码合成模块利用LLM生成初步代码，符号压缩模块通过Stitch技术优化代码结构，自动文档化模块则为生成的代码提供自然语言描述。
关键创新：LILO的主要创新在于将LLM与符号压缩技术相结合，并引入AutoDoc程序，使得生成的代码不仅高效且具备良好的可解释性，这与现有方法的单一侧重于代码生成或重构的方式有本质区别。
关键设计：在设计中，LILO采用了优化的损失函数以平衡代码的可读性与功能性，同时在网络结构上引入了多层次的抽象表示，以便于更好地捕捉代码的语义信息。
🖼️ 关键图片
📊 实验亮点
在三个归纳程序合成基准上，LILO相较于现有的神经和符号方法，包括最先进的库学习算法DreamCoder，解决了更复杂的任务，并学习到了更丰富的库，显示出显著的性能提升。
🎯 应用场景
LILO框架在软件开发、教育和自动化工具等多个领域具有广泛的应用潜力。它可以帮助开发者快速生成高质量的代码库，提升代码的可维护性和可读性，同时在教育领域中也能作为教学工具，帮助学生理解代码重构的概念。未来，LILO可能会对软件工程的自动化程度产生深远影响。
📄 摘要（原文）
While large language models (LLMs) now excel at code generation, a key aspect of software development is the art of refactoring: consolidating code into libraries of reusable and readable programs. In this paper, we introduce LILO, a neurosymbolic framework that iteratively synthesizes, compresses, and documents code to build libraries tailored to particular problem domains. LILO combines LLM-guided program synthesis with recent algorithmic advances in automated refactoring from Stitch: a symbolic compression system that efficiently identifies optimal lambda abstractions across large code corpora. To make these abstractions interpretable, we introduce an auto-documentation (AutoDoc) procedure that infers natural language names and docstrings based on contextual examples of usage. In addition to improving human readability, we find that AutoDoc boosts performance by helping LILO's synthesizer to interpret and deploy learned abstractions. We evaluate LILO on three inductive program synthesis benchmarks for string editing, scene reasoning, and graphics composition. Compared to existing neural and symbolic methods - including the state-of-the-art library learning algorithm DreamCoder - LILO solves more complex tasks and learns richer libraries that are grounded in linguistic knowledge.