Orthogonal Boundary Unlearning for Dual-Use Concepts in Large Language Models

📄 arXiv: 2610.27490v1 📥 PDF

作者: Niccolò Ronchetti

分类: cs.LG, cs.AI

发布日期: 2026-10-20

备注: 19 pages (inclusive of bibliography and appendix), 2 figures, 3 tables

💡 一句话要点

提出正交边界去学习以解决双重用途概念问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 正交边界去学习 双重用途概念 大型语言模型 网络安全 生物技术

📋 核心要点

  1. 现有方法在处理双重用途概念时，容易导致良性和恶性能力之间的混淆，造成严重的附带损害。
  2. 本文提出正交边界去学习（OBU），通过提取能力子空间并限制参数更新，确保良性能力不受影响。
  3. 在四个现代基础模型上，OBU显著提高了双重用途概念的分离能力，增强了对抗性攻击的抵抗力。

📝 摘要（中文）

为了减轻大型语言模型带来的灾难性风险，需要在不降低良性科学效用的情况下，消除有害的操作能力，如网络战争利用和病原体增强。在这些双重用途领域，合法的防御科学与恶意攻击共享词汇、语法和内部模型表示，导致标准去学习方法引发严重的附带损害（概念混淆）。本文提出了正交边界去学习（OBU），这是一个数学基础的框架，旨在消除对良性双重用途能力的附带损害。OBU通过对经验激活协方差进行奇异值分解，从配对校准查询中提取领域匹配的能力子空间，并严格限制参数更新到正交零空间。这保证了良性表示在所跨越的校准子空间内经历零参数扰动。我们提出了OBU的两种互补实现：投影LoRA和闭式权重手术，前者在迭代梯度微调过程中应用正交约束，后者则在不训练的情况下直接编辑模型权重。OBU在四个现代开放权重基础模型上实现了强大的双重用途概念分离，显著减轻了上下文引导攻击，并展示了对对抗性再学习的持久抵抗，而不降低良性领域的能力。

🔬 方法详解

问题定义：本文解决的问题是如何在不降低良性科学效用的情况下，消除大型语言模型中的有害操作能力。现有的去学习方法容易导致良性与恶性能力之间的混淆，造成概念混淆和附带损害。

核心思路：论文的核心思路是提出正交边界去学习（OBU），通过提取领域匹配的能力子空间，并将参数更新限制在正交零空间，从而确保良性表示不受影响。

技术框架：OBU的整体架构包括两个主要模块：首先，通过奇异值分解提取能力子空间；其次，限制参数更新到正交零空间。该框架可以通过两种方式实现：投影LoRA和闭式权重手术。

关键创新：OBU的主要创新在于其正交约束设计，确保了良性能力在去学习过程中不受影响。这与现有方法的本质区别在于，现有方法往往会对良性能力造成不可逆的损害。

关键设计：在实现OBU时，关键的参数设置包括选择合适的校准查询对，以及在投影LoRA中应用的正交约束。此外，闭式权重手术通过单步分析直接编辑模型权重，避免了传统训练过程中的复杂性。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

在四个现代开放权重基础模型（Gemma-3-4B、Qwen3.5-4B、SmolLM3-3B和Granite-4.2-3B）上，OBU实现了强大的双重用途概念分离，显著减轻了上下文引导攻击，并在对抗性再学习中表现出持久的抵抗力，未降低良性领域的能力。

🎯 应用场景

该研究的潜在应用领域包括安全科学、网络防御和生物技术等双重用途领域。通过有效地消除有害能力，OBU可以帮助研究人员和开发者在保持良性科学效用的同时，降低潜在的灾难性风险，具有重要的实际价值和未来影响。

📄 摘要（原文）

Mitigating catastrophic risks from large language models requires excising hazardous operational capabilities, such as cyberwarfare exploitation and pathogen enhancement, without degrading benign scientific utility. In these dual-use domains, legitimate defensive science and malicious attacks share vocabulary, syntax, and internal model representations, causing standard unlearning methods to induce severe collateral damage (concept bleeding). In this work, we present Orthogonal Boundary Unlearning (OBU), a mathematically grounded framework designed to eliminate collateral damage on benign dual-use capabilities. OBU extracts a domain-matched capability subspace from paired calibration queries via singular value decomposition on empirical activation covariances, and restricts parameter updates strictly to the orthogonal null space. This guarantees that benign representations experience zero parameter perturbation along the spanned calibration subspace. We present two complementary realizations of OBU: Projected LoRA, which applies the orthogonal constraint during iterative gradient-based fine-tuning, and Closed-Form Weight Surgery, which directly edits model weights in a single analytical step without training. Across four modern open-weight foundation models (Gemma-3-4B, Qwen3.5-4B, SmolLM3-3B, and Granite-4.2-3B), OBU achieves strong dual-use concept separation, substantially mitigates in-context priming attacks, and demonstrates durable resistance against adversarial relearning without degrading benign domain competence.