LoREnc: Low-Rank Encryption for Securing Foundation Models and LoRA Adapters

📄 arXiv: 2605.13163v1 📥 PDF

作者: Beomjin Ahn, Jungmin Kwon, Chanyong Jung, Jaewook Chung

分类: cs.CR, cs.CV, cs.LG

发布日期: 2026-05-13

备注: Accepted to ICIP 2026

💡 一句话要点

LoREnc：通过低秩加密保护基础模型和LoRA适配器，防止模型泄露。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型安全 低秩适配器 知识产权保护 谱截断 正交重参数化

📋 核心要点

  1. 现有防御方法依赖重训练或原始数据，成本高昂且不实用，无法有效保护基础模型和LoRA适配器。
  2. LoREnc通过谱截断抑制模型权重中的低秩分量，并使用正交重参数化模糊适配器结构，实现免训练保护。
  3. 实验证明LoREnc能有效防御模型恢复攻击，且计算开销极低，授权用户性能不受影响。

📝 摘要（中文）

基础模型和低秩适配器实现了高效的设备端生成式AI，但也带来了知识产权泄露和模型恢复攻击等风险。现有的防御方法通常不切实际，因为它们需要重新训练或访问原始数据集。我们提出了LoREnc，这是一个无需训练的框架，通过谱截断和补偿来保护基础模型和适配器。LoREnc抑制了基础模型权重中的主要低秩分量，补偿了授权适配器中丢失的信息，并进一步应用正交重参数化来模糊受保护适配器的结构指纹。未经授权的用户会产生结构崩溃的输出，而授权用户可以恢复精确的性能。实验表明，LoREnc提供了强大的模型恢复保护，计算开销低于1%。

🔬 方法详解

问题定义：论文旨在解决基础模型和LoRA适配器在设备端部署时面临的知识产权泄露和模型恢复攻击问题。现有防御方法，如微调或对抗训练，通常需要访问原始数据集或进行耗时的重新训练，这在实际应用中往往是不可行的。因此，需要一种无需训练且高效的保护机制。

核心思路：LoREnc的核心思路是通过低秩加密来隐藏模型和适配器的关键信息。具体来说，它通过谱截断来抑制模型权重中的主要低秩分量，从而破坏模型的结构信息。同时，为了保证授权用户的性能，LoREnc会补偿授权适配器中因谱截断而丢失的信息。此外，正交重参数化进一步模糊了适配器的结构指纹，增加了攻击难度。

技术框架：LoREnc框架主要包含以下几个步骤：1) 谱截断：对基础模型的权重矩阵进行奇异值分解（SVD），然后截断较小的奇异值，从而抑制低秩分量。2) 补偿：为授权的LoRA适配器设计补偿机制，以恢复因谱截断而损失的性能。这通常涉及对适配器进行微调或使用特定的损失函数进行优化。3) 正交重参数化：对适配器的权重矩阵进行正交重参数化，以模糊其结构信息。这可以通过将权重矩阵表示为一系列正交矩阵的乘积来实现。

关键创新：LoREnc的关键创新在于它提供了一种无需训练的保护机制，可以有效地防御模型恢复攻击，同时保持授权用户的性能。与现有方法相比，LoREnc不需要访问原始数据集或进行耗时的重新训练，因此更加实用和高效。此外，LoREnc结合了谱截断、补偿和正交重参数化等多种技术，从而提供了更强的保护能力。

关键设计：LoREnc的关键设计包括：1) 谱截断的阈值选择：需要仔细选择谱截断的阈值，以在保护能力和性能之间取得平衡。2) 补偿机制的设计：补偿机制需要能够有效地恢复因谱截断而损失的性能，同时避免引入新的安全漏洞。3) 正交重参数化的实现：需要选择合适的正交重参数化方法，以在模糊结构信息的同时保持模型的表达能力。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，LoREnc能够有效防御模型恢复攻击，且计算开销低于1%。授权用户在使用补偿后的LoRA适配器时，可以恢复与原始模型几乎相同的性能。这表明LoREnc在提供强大保护的同时，对模型的可用性影响很小。

🎯 应用场景

LoREnc可应用于各种需要保护模型知识产权的场景，例如在移动设备上部署生成式AI应用、在云端提供模型即服务等。通过LoREnc，模型所有者可以在不泄露模型细节的情况下，安全地将模型部署到不受信任的环境中，从而促进生成式AI技术的广泛应用。

📄 摘要（原文）

Foundation models and low-rank adapters enable efficient on-device generative AI but raise risks such as intellectual property leakage and model recovery attacks. Existing defenses are often impractical because they require retraining or access to the original dataset. We propose LoREnc, a training-free framework that secures both FMs and adapters via spectral truncation and compensation. LoREnc suppresses dominant low-rank components of FM weights, compensates for the missing information in authorized adapters, and further applies orthogonal reparameterization to obscure structural fingerprints of the protected adapter. Unauthorized users produce structurally collapsed outputs, while authorized users recover exact performance. Experiments demonstrate that LoREnc provides strong protection against model recovery with under 1% computational overhead.