SketchFill: Sketch-Guided Code Generation for Imputing Derived Missing Values

📄 arXiv: 2412.19113v1 📥 PDF

作者: Yunfan Zhang, Changlun Li, Yuyu Luo, Nan Tang

分类: cs.CL, cs.DB, cs.LG

发布日期: 2024-12-26

备注: 19 pages, 6 figures

💡 一句话要点

提出SketchFill，通过草图引导LLM生成代码，解决缺失值填充难题，显著提升数值型缺失值填充精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 缺失值填充 大型语言模型 数据清洗 公式生成 草图引导

📋 核心要点

  1. 现有LLM在处理需要复杂推理的缺失值填充任务时表现不足，尤其是在处理需要数学公式和数据关系的派生缺失值时。
  2. SketchFill提出了一种基于草图的方法，通过草图来引导LLM生成准确的公式，从而实现更可靠的缺失值填充。
  3. 实验结果表明，SketchFill在缺失值填充任务中显著优于现有方法，在准确率上取得了显著提升，为自动化数据清理设定了新标准。

📝 摘要（中文）

缺失值是数据科学中的一个关键问题，严重影响分析和预测的可靠性。缺失值填充(MVI)是一个长期存在的问题，因为它高度依赖于领域知识。大型语言模型(LLM)已成为数据清理（包括表格数据MVI）的一种有前途的工具，为理解和生成内容提供了先进的能力。然而，尽管它们很有前景，但现有的LLM技术（如上下文学习和思维链(CoT)）在指导LLM执行复杂的MVI推理方面常常不足，尤其是在填充派生的缺失值时，这需要跨行和列的数学公式和数据关系。为了填补这一空白，我们提出SketchFill，一种新颖的基于草图的方法，用于指导LLM生成准确的公式来填充缺失的数值。实验结果表明，SketchFill显著优于最先进的方法，比基于CoT的方法提高了56.2%的准确率，比MetaGPT提高了78.8%的准确率。这为自动化数据清理设定了新的标准，并推进了数值型缺失值MVI领域的发展。

🔬 方法详解

问题定义：论文旨在解决表格数据中数值型缺失值的填充问题，特别是那些需要通过数学公式和跨行/列关系推导的“派生缺失值”。现有方法，如直接使用LLM进行上下文学习或思维链(CoT)，在处理此类复杂推理时效果不佳，无法准确生成填充缺失值所需的公式。

核心思路：SketchFill的核心思路是利用“草图”来引导LLM的推理过程。草图提供了一种结构化的方式来表达填充缺失值所需的公式，从而帮助LLM更好地理解数据之间的关系，并生成更准确的填充公式。这种方法借鉴了人类解决问题的习惯，即先勾勒出解决问题的框架，再逐步完善细节。

技术框架：SketchFill的整体框架包含以下几个主要阶段：1) 草图生成：根据输入数据和缺失值的位置，生成一个初始的公式草图，该草图可能包含一些占位符或未完成的部分。2) LLM引导：利用LLM，并以生成的草图作为输入提示，引导LLM逐步完善草图，生成完整的填充公式。3) 公式执行：执行生成的公式，填充缺失值。4) 验证与迭代（可选）：对填充结果进行验证，如果结果不满意，可以迭代地调整草图或LLM的引导策略。

关键创新：SketchFill的关键创新在于引入了“草图”的概念，并将其作为LLM进行缺失值填充推理的指导。与直接让LLM生成公式相比，草图提供了一种更结构化、更易于理解的中间表示，从而显著提高了LLM生成准确公式的能力。此外，SketchFill还探索了如何有效地利用LLM来完善草图，并最终生成可执行的填充公式。

关键设计：关于草图的设计，论文可能定义了一套草图的语法规则，例如，草图可以包含算术运算符、函数调用、列名引用等。LLM的引导策略可能包括使用特定的提示语、调整LLM的生成参数（如温度系数），或者使用强化学习等方法来优化LLM的生成过程。具体的损失函数和网络结构取决于LLM的选择和训练方式，但目标都是使LLM能够生成更准确、更符合数据关系的填充公式。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SketchFill在缺失值填充任务中显著优于现有方法。具体而言，SketchFill比基于CoT的方法提高了56.2%的准确率，比MetaGPT提高了78.8%的准确率。这些结果表明，SketchFill能够有效地引导LLM生成准确的填充公式，从而显著提升缺失值填充的性能。

🎯 应用场景

SketchFill具有广泛的应用前景，可用于各种数据清洗和预处理任务，尤其是在金融、医疗、科学研究等领域，这些领域的数据通常包含大量的缺失值，且缺失值的填充需要复杂的领域知识和推理。该方法可以提高数据质量，从而提升后续数据分析和机器学习模型的性能，具有重要的实际价值。

📄 摘要（原文）

Missing value is a critical issue in data science, significantly impacting the reliability of analyses and predictions. Missing value imputation (MVI) is a longstanding problem because it highly relies on domain knowledge. Large language models (LLMs) have emerged as a promising tool for data cleaning, including MVI for tabular data, offering advanced capabilities for understanding and generating content. However, despite their promise, existing LLM techniques such as in-context learning and Chain-of-Thought (CoT) often fall short in guiding LLMs to perform complex reasoning for MVI, particularly when imputing derived missing values, which require mathematical formulas and data relationships across rows and columns. This gap underscores the need for further advancements in LLM methodologies to enhance their reasoning capabilities for more reliable imputation outcomes. To fill this gap, we propose SketchFill, a novel sketch-based method to guide LLMs in generating accurate formulas to impute missing numerical values. Our experimental results demonstrate that SketchFill significantly outperforms state-of-the-art methods, achieving 56.2% higher accuracy than CoT-based methods and 78.8% higher accuracy than MetaGPT. This sets a new standard for automated data cleaning and advances the field of MVI for numerical values.