A Graph-Based Analysis of Comparability, Scale, and Attribution in Private Transformer Inference

📄 arXiv: 2610.19607v1 📥 PDF

作者: Souvik Das, Ariful Azad, Nitesh Saxena

分类: cs.CR, cs.LG

发布日期: 2026-10-14

备注: 21 pages, 10 figures, 11 tables

💡 一句话要点

构建图模型以系统化私有Transformer推理的评估与比较

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 私有推理 Transformer 加密技术 性能评估 图模型 系统比较 隐私保护

📋 核心要点

  1. 现有私有Transformer推理研究面临多维度加密进展和评估标准不一致的问题，影响了对其性能的综合理解。
  2. 本文提出通过构建经验图来系统化PTI领域，映射系统属性与评估兼容性，从而提供透明的评估框架。
  3. 研究结果显示，私有推理的扩展前沿已达到130亿参数，且仅有极少数系统在共享假设下可直接比较，揭示了当前技术的局限性。

📝 摘要（中文）

随着对大型语言模型隐私问题的关注加剧，私有Transformer推理（PTI）研究迅速发展。然而，现有研究因多维度的加密进展和不一致的评估标准而面临挑战。本文通过构建62个PTI系统的经验图，系统化该领域，映射系统属性与节点特征，评估兼容性与边缘。三层次的图分析揭示了私有推理的现状。节点级归因表明，加密进展推动了大多数系统的性能提升，但总是与其他因素（模型保真度、硬件、成本核算）共同发生。边缘级审计显示，在共享假设下，1891对候选系统中仅有1对是直接可比的。图级分析表明，私有推理的扩展前沿已在130亿参数处达到平稳，并预测了当前PTI技术在生产规模Transformer上的部署成本。整体而言，该图模型框架为社区提供了透明评估PTI声明的工具，并将技术加速转化为可部署的私有推理。

🔬 方法详解

问题定义：本文旨在解决私有Transformer推理（PTI）领域中由于多维度加密进展和评估标准不一致而导致的综合评估困难。现有方法缺乏系统性，难以有效比较不同PTI系统的性能。

核心思路：论文通过构建一个包含62个PTI系统的经验图，将系统属性映射到节点特征，并将评估兼容性映射到边缘，从而系统化该领域的研究，提供透明的评估工具。

技术框架：整体架构包括三个主要模块：节点级分析、边缘级审计和图级分析。节点级分析关注系统属性与性能的关系，边缘级审计评估系统间的可比性，图级分析则探讨扩展前沿及其成本。

关键创新：最重要的创新在于构建了一个经验图模型，使得不同PTI系统的比较变得系统化和透明化。这与现有方法的主要区别在于提供了一个可视化和结构化的评估框架。

关键设计：在设计中，节点特征包括加密进展、模型保真度、硬件配置和成本核算等，边缘则表示系统间的评估兼容性。通过这种设计，能够有效识别出影响性能的关键因素。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，在1891对候选系统中，仅有1对在共享假设下是直接可比的，显示出当前PTI系统间的可比性极低。此外，私有推理的扩展前沿已在130亿参数处达到平稳，提示了技术发展的瓶颈。

🎯 应用场景

该研究的潜在应用领域包括隐私保护的自然语言处理、金融数据分析和医疗信息处理等。通过提供透明的评估框架，研究能够帮助开发者在实际应用中选择合适的PTI系统，从而提升隐私保护能力和系统性能。未来，该框架可能推动更多创新的PTI技术的开发与应用。

📄 摘要（原文）

Rising privacy concerns around large language models have accelerated research in private Transformer inference (PTI). Synthesizing the empirical claims in this line of research, however, is hindered by multi-dimensional cryptographic progress and inconsistent evaluation contracts. In this work, we systematize the field by constructing an empirical graph of 62 PTI systems, mapping system attributes to node features and evaluation compatibility to edges. A three-tiered analysis of this graph illuminates the state of private inference. Node-level attribution shows that cryptographic progress drives performance gains across most systems, yet always co-occurs with other factors (model fidelity, hardware, cost accounting). Edge-level auditing shows that only 1 of 1891 candidate system pairs is directly comparable under shared assumptions. Finally, graph-level analysis shows that the scaling frontier of private inference has plateaued at 13B parameters and projects the cost of deploying current PTI techniques on production-scale Transformers. Overall, this graph-based framework equips the community to evaluate PTI claims transparently and channel technical speedups into deployment-scale private inference.