Unmasking Database Vulnerabilities: Zero-Knowledge Schema Inference Attacks in Text-to-SQL Systems

📄 arXiv: 2406.14545v3 📥 PDF

作者: Đorđe Klisura, Anthony Rios

分类: cs.CL

发布日期: 2024-06-20 (更新: 2025-06-03)

备注: Accepted to NAACL 2025 Findings

💡 一句话要点

提出零知识模式推断攻击，揭示Text-to-SQL系统中数据库模式泄露漏洞

🎯 匹配领域: 支柱一：机器人控制 (Robot Control)

关键词: Text-to-SQL 数据库安全 模式推断 零知识攻击 GPT-4 安全漏洞 自然语言处理

📋 核心要点

  1. Text-to-SQL系统依赖数据库模式信息生成SQL，但这也使其面临模式推断攻击的安全风险，可能导致未经授权的数据访问。
  2. 论文提出零知识模式推断框架，通过构造问题探测Text-to-SQL模型，并用GPT-4解释输出来推断数据库模式。
  3. 实验表明，该方法能高精度重建表名，生成模型F1值高达0.99，揭示了Text-to-SQL系统严重的模式泄露问题。

📝 摘要（中文）

本文提出了一种新颖的零知识框架，用于重建Text-to-SQL模型底层数据库模式，无需任何数据库先验知识。该方法通过精心设计的提问系统性地探测Text-to-SQL模型，并利用代理GPT-4模型解释输出，有效地揭示隐藏的模式元素，包括表、列和数据类型。实验表明，该方法在重建表名方面实现了高精度，生成模型的F1分数高达0.99，微调模型的F1分数为0.78，突显了模式泄露风险的严重性。此外，该攻击还能窃取非Text-to-SQL模型中的提示信息。最后，论文提出了一种针对生成模型的简单保护机制，并通过实验展示了其在缓解这些攻击方面的局限性。

🔬 方法详解

问题定义：论文旨在解决Text-to-SQL系统中存在的数据库模式泄露问题。现有Text-to-SQL系统在将自然语言转换为SQL查询时，需要访问数据库的模式信息。然而，这种对模式信息的依赖使得系统容易受到攻击，攻击者可以通过精心构造的查询推断出数据库的结构，从而进行未经授权的数据访问或操作。现有的防御方法往往不够完善，无法有效阻止此类攻击。

核心思路：论文的核心思路是利用零知识攻击，即在不了解数据库任何先验知识的情况下，通过与Text-to-SQL系统交互来推断其底层数据库模式。这种方法模拟了攻击者在现实场景中的行为，能够更真实地评估系统的安全性。通过分析Text-to-SQL系统对特定查询的响应，可以逐步推断出数据库的表名、列名和数据类型等信息。

技术框架：该框架主要包含两个阶段：探测阶段和推理阶段。在探测阶段，攻击者向Text-to-SQL系统发送一系列精心设计的查询，这些查询旨在触发系统返回有关数据库模式的信息。在推理阶段，使用一个代理模型（GPT-4）来分析Text-to-SQL系统的输出，并从中提取出有关数据库模式的信息。通过迭代这两个阶段，可以逐步重建整个数据库模式。

关键创新：该论文的关键创新在于提出了一个零知识的模式推断攻击框架，该框架不需要任何关于目标数据库的先验知识。此外，利用大型语言模型（GPT-4）作为代理模型来解释Text-to-SQL系统的输出，大大提高了攻击的效率和准确性。与传统的攻击方法相比，该方法更加隐蔽和有效。

关键设计：查询的设计是该方法成功的关键。论文设计了一系列特定类型的查询，例如询问数据库中是否存在某个表或列，或者询问某个列的数据类型。这些查询经过精心设计，可以最大程度地暴露数据库的模式信息。此外，GPT-4模型的选择和配置也至关重要，需要选择具有足够推理能力的模型，并进行适当的微调，以提高其解释Text-to-SQL系统输出的准确性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法能够以高精度重建Text-to-SQL系统的数据库模式。对于生成模型，表名重建的F1分数高达0.99，对于微调模型，F1分数为0.78。此外，该攻击还能窃取非Text-to-SQL模型中的提示信息。实验还评估了一种简单的防御机制，但发现其在缓解此类攻击方面的效果有限。

🎯 应用场景

该研究成果可应用于评估和提升Text-to-SQL系统的安全性，帮助开发者识别和修复潜在的模式泄露漏洞。此外，该方法也可用于评估其他类型AI系统的安全性，例如聊天机器人和知识图谱问答系统。研究结果有助于推动安全AI的发展，保护用户数据和隐私。

📄 摘要（原文）

Text-to-SQL systems empower users to interact with databases using natural language, automatically translating queries into executable SQL code. However, their reliance on database schema information for SQL generation exposes them to significant security vulnerabilities, particularly schema inference attacks that can lead to unauthorized data access or manipulation. In this paper, we introduce a novel zero-knowledge framework for reconstructing the underlying database schema of text-to-SQL models without any prior knowledge of the database. Our approach systematically probes text-to-SQL models with specially crafted questions and leverages a surrogate GPT-4 model to interpret the outputs, effectively uncovering hidden schema elements -- including tables, columns, and data types. We demonstrate that our method achieves high accuracy in reconstructing table names, with F1 scores of up to .99 for generative models and .78 for fine-tuned models, underscoring the severity of schema leakage risks. We also show that our attack can steal prompt information in non-text-to-SQL models. Furthermore, we propose a simple protection mechanism for generative models and empirically show its limitations in mitigating these attacks.