Model Stealing for Any Low-Rank Language Model

📄 arXiv: 2411.07536v1 📥 PDF

作者: Allen Liu, Ankur Moitra

分类: cs.LG, cs.AI, cs.DS, stat.ML

发布日期: 2024-11-12

💡 一句话要点

针对低秩语言模型的模型窃取算法，提升了窃取效率和适用性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型窃取 低秩语言模型 条件查询模型 重心扩展 凸优化 相对熵投影 语言模型安全

📋 核心要点

  1. 模型窃取威胁LLM安全，现有方法在低秩语言模型上效率和适用性存在局限。
  2. 提出一种基于条件查询模型的高效算法，通过重心扩展和凸优化解决低秩分布学习问题。
  3. 该算法改进了现有方法，不再需要高“保真度”假设，扩大了适用范围并提升了窃取效率。

📝 摘要（中文）

模型窃取是一个重要的机器学习安全问题，学习者通过精心设计的查询来恢复未知模型，威胁专有模型的安全和训练数据的隐私。近年来，窃取大型语言模型（LLMs）的问题备受关注。本文旨在通过研究一个简单且易于数学处理的设置，来建立对窃取语言模型的理论理解。我们研究了隐马尔可夫模型（HMMs），以及更一般的低秩语言模型的模型窃取。我们假设学习者在Kakade等人提出的条件查询模型中工作。我们的主要结果是，在条件查询模型中，存在一种高效的算法来学习任何低秩分布。换句话说，我们的算法成功地窃取了任何输出分布为低秩的语言模型。这改进了Kakade等人的先前结果，该结果还要求未知分布具有高“保真度”，而该属性仅在受限情况下成立。我们的算法背后有两个关键见解：首先，我们通过在指数级大维度的向量集合中构建重心扩展，来表示每个时间步的条件分布。其次，为了从我们的表示中进行采样，我们迭代地解决一系列凸优化问题，这些问题涉及相对熵投影，以防止误差在序列长度上累积。这是一个有趣的例子，至少在理论上，允许机器学习模型在推理时解决更复杂的问题可以显着提高其性能。

🔬 方法详解

问题定义：论文旨在解决低秩语言模型的模型窃取问题。现有的模型窃取方法，例如Kakade等人的方法，通常需要目标分布具有较高的“保真度”，这限制了它们在实际应用中的适用性。因此，如何设计一种更通用的、能够有效窃取任意低秩语言模型的算法，是本文要解决的核心问题。

核心思路：论文的核心思路是利用低秩分布的特性，通过构建重心扩展来表示条件分布，并使用凸优化方法来防止误差累积。具体来说，算法在每个时间步构建条件分布的重心扩展，并迭代地解决一系列凸优化问题，以从该表示中采样。这种方法避免了对目标分布高保真度的要求，从而提高了算法的通用性。

技术框架：该算法主要包含以下几个阶段： 1. 条件查询：学习者通过条件查询模型获取目标语言模型的输出。 2. 重心扩展构建：利用查询结果，在指数级大维度的向量集合中构建条件分布的重心扩展。 3. 凸优化采样：通过迭代求解一系列凸优化问题，从重心扩展中采样，并使用相对熵投影来防止误差累积。 4. 模型重构：基于采样结果，重构目标语言模型。

关键创新：该论文的关键创新在于： 1. 重心扩展表示：使用重心扩展来表示条件分布，避免了对目标分布高保真度的要求。 2. 凸优化采样：通过迭代求解凸优化问题，并使用相对熵投影，有效地控制了误差累积，提高了采样精度。 3. 通用性：该算法适用于任意低秩语言模型，具有更广泛的适用性。

关键设计： 1. 重心扩展的维度：重心扩展的维度是指数级的，这保证了可以有效地表示任意低秩分布。 2. 凸优化问题的目标函数：凸优化问题的目标函数是最小化相对熵，这有助于防止误差累积。 3. 相对熵投影：相对熵投影用于将采样结果投影到可行域，进一步提高采样精度。

📊 实验亮点

该论文的主要贡献在于提出了一种针对低秩语言模型的模型窃取算法，该算法在条件查询模型下能够高效地学习任何低秩分布，改进了现有方法对目标分布高保真度的要求。虽然论文主要关注理论分析，但其算法设计为实际应用提供了指导，并为未来研究更复杂的模型窃取问题奠定了基础。

🎯 应用场景

该研究成果可应用于评估和增强大型语言模型的安全性，防御模型窃取攻击。此外，该算法在低秩分布学习方面的理论突破，也可能促进其他机器学习任务，如数据隐私保护和联邦学习等领域的发展。未来，可以进一步研究如何将该算法应用于更复杂的语言模型和攻击场景。

📄 摘要（原文）

Model stealing, where a learner tries to recover an unknown model via carefully chosen queries, is a critical problem in machine learning, as it threatens the security of proprietary models and the privacy of data they are trained on. In recent years, there has been particular interest in stealing large language models (LLMs). In this paper, we aim to build a theoretical understanding of stealing language models by studying a simple and mathematically tractable setting. We study model stealing for Hidden Markov Models (HMMs), and more generally low-rank language models. We assume that the learner works in the conditional query model, introduced by Kakade, Krishnamurthy, Mahajan and Zhang. Our main result is an efficient algorithm in the conditional query model, for learning any low-rank distribution. In other words, our algorithm succeeds at stealing any language model whose output distribution is low-rank. This improves upon the previous result by Kakade, Krishnamurthy, Mahajan and Zhang, which also requires the unknown distribution to have high "fidelity", a property that holds only in restricted cases. There are two key insights behind our algorithm: First, we represent the conditional distributions at each timestep by constructing barycentric spanners among a collection of vectors of exponentially large dimension. Second, for sampling from our representation, we iteratively solve a sequence of convex optimization problems that involve projection in relative entropy to prevent compounding of errors over the length of the sequence. This is an interesting example where, at least theoretically, allowing a machine learning model to solve more complex problems at inference time can lead to drastic improvements in its performance.