Maverick: Private and Verifiable LLM Inference Made Practical via Matrix-Vector Multiplication Delegation

📄 arXiv: 2609.10264v1 📥 PDF

作者: Ben Merbaum, Mohammad Amin Raeisi, Wenhao Wang, Charalampos Papamanthou, Katerina Sotiraki, Fan Zhang

分类: cs.CR, cs.LG

发布日期: 2026-09-09

💡 一句话要点

提出Maverick以解决大规模LLM推理中的隐私与可验证性问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 隐私保护 可验证推理 矩阵-向量乘法 LPN技术 性能优化 开源技术 自然语言处理

📋 核心要点

  1. 现有方法在大规模LLM推理中面临隐私和正确性问题，且通常会增加服务器负担。
  2. Maverick通过矩阵-向量乘法委托协议，提供信息论上可靠的验证，确保隐私和效率。
  3. 实验结果表明，Maverick在吞吐量上相较于本地推理可提升17倍至157倍，表现出色。

📝 摘要（中文）

开源的大型语言模型（LLMs）在竞争力上逐渐接近闭源模型，且提供透明性和在不暴露用户输入的情况下进行推理的能力。然而，局部运行大规模模型需要大量计算资源，用户往往需要依赖第三方服务提供商，这引发了隐私和正确性的问题。现有解决方案通常会增加服务器负担或引入额外的信任假设。本文提出Maverick，一种基于矩阵-向量乘法委托的私密且可验证的LLM推理新方法。Maverick提供了首个信息论上可靠的矩阵-向量乘法委托验证协议，具有透明的预处理、高效的批量验证和几乎没有服务器负担。我们实现了该委托原语，并构建了Maverick的端到端原型，评估结果显示其在隐私掩码生成方面的吞吐量提升显著。

🔬 方法详解

问题定义：本文旨在解决在大规模LLM推理中，用户隐私和结果可验证性的问题。现有方法往往需要依赖第三方服务，导致隐私泄露和正确性风险，同时增加了服务器的计算负担。

核心思路：Maverick的核心思路是通过矩阵-向量乘法的委托来实现私密和可验证的推理。该方法设计了一个信息论上可靠的验证协议，结合LPN（学习有噪声的多项式）基础的伪随机掩码技术，确保输入隐私。

技术框架：Maverick的整体架构包括三个主要模块：矩阵-向量乘法的委托、透明的预处理和高效的批量验证。用户输入通过伪随机掩码进行保护，服务器执行计算并返回结果，客户端进行验证。

关键创新：Maverick的主要创新在于其信息论上可靠的验证协议，能够在几乎没有服务器负担的情况下实现高效的验证。这一设计与现有方法相比，显著降低了对服务器的依赖和信任假设。

关键设计：在实现中，Maverick采用了动态生成和预计算两种方式来生成隐私掩码，并通过多线程配置优化了吞吐量，确保在不同客户端配置下均能获得显著的性能提升。实验中，吞吐量在隐私掩码生成方面的提升可达45倍。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Maverick在吞吐量方面的提升显著，单线程情况下，隐私掩码在线生成时的吞吐量提升可达17倍，预计算时可达45倍，验证时可达44倍。四线程配置下，吞吐量提升分别为13倍、18倍和17倍，展示了其在实际应用中的强大性能。

🎯 应用场景

Maverick的研究成果在多个领域具有广泛的应用潜力，尤其是在需要保护用户隐私的自然语言处理任务中，如智能客服、个性化推荐和内容生成等。通过提供安全的推理环境，Maverick能够促进开源LLM的普及和应用，推动相关技术的发展与创新。

📄 摘要（原文）

Open-source large language models (LLMs) are increasingly competitive with closed-source models while offering transparency and the ability to run inference without exposing user inputs to a service provider. However, running large-scale models locally requires substantial computational resources. In practice, users may still resort to a third-party provider, giving rise to privacy and correctness concerns. Existing solutions that address these problems often impose substantial server overhead or introduce additional trust assumptions. In this paper, we present Maverick, a novel approach to private and verifiable LLM inference based on a protocol for delegating matrix-vector multiplication, a dominant operation in LLMs. At its core, Maverick provides, to our knowledge, the first information-theoretically sound verification protocol for matrix-vector multiplication delegation with transparent preprocessing, efficient (batch) verification, and virtually no server overhead. We combine this verification primitive with LPN-based pseudorandom masking to provide input privacy. We implement our matrix-vector delegation primitive and use it to build an end-to-end prototype of Maverick, which we evaluate on Qwen3-4B by measuring throughput in tokens per second. We evaluate client configurations with 1-8 threads. With one client thread and a CPU server using up to 128 threads, Maverick achieves throughput gains over local inference of up to 17x when privacy masks are generated online, 45x when they are precomputed, and 44x when only verification is required. With four client threads, the corresponding gains are 13x, 18x, and 17x. When server computation is no longer the bottleneck, client-side microbenchmarks with simulated network delay show speedups of 12x-20x, 34x-135x, and 38x-157x.