DNAlign: Dynamic Null-Space Safe Alignment for LLMs
作者: Jisheng Dang, Yushuo Zhao, Dewei Liu, Junfeng Fang, Bimei Wang, Tiantian Rao, Hong Peng, Bin Hu, Tat-Seng Chua
分类: cs.AI
发布日期: 2026-10-02
备注: Regular Paper; 13 pages, 8 figures, and 1 table
💡 一句话要点
提出DNAlign以解决大型语言模型安全对齐问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 安全对齐 控制理论 零空间投影 动态系统 人类偏好 生成模型 机器学习
📋 核心要点
- 现有的安全对齐方法在计算成本和模型知识保持之间存在明显的权衡，导致生成质量下降。
- DNAlign框架通过控制理论优化与零空间投影相结合，动态引导模型生成安全的输出，同时保留核心知识。
- 实验结果显示，DNAlign在多个LLM骨干上显著减少有害输出，且在流畅性和事实效用上保持优越表现。
📝 摘要（中文）
确保大型语言模型（LLMs）的安全和可靠部署仍然是一个基本挑战。现有的安全对齐方法要么计算成本高，要么无意中破坏模型的核心知识，导致在无害任务上的流畅性和事实准确性下降。这揭示了安全性与实用性之间的持续权衡。我们提出了DNAlign，一个轻量级的对齐框架，结合了控制理论优化与零空间投影。通过将LLM视为动态系统，所提出的框架引入可控扰动，以引导生成朝向安全行为。关键组件是投影模块，它将这些扰动限制在从中性隐藏状态派生的有害相关子空间，从而保持一般知识和响应质量。基于人类偏好数据训练的价值函数自适应优化控制信号，以符合人类安全偏好。对多个LLM骨干的广泛评估表明，我们的框架在减少有害输出的同时保持流畅性、一致性和事实效用，整体性能优于先前的对齐基线，且不牺牲生成多样性。这些结果表明，所提出的框架为安全LLM对齐提供了有效且可实际部署的解决方案。
🔬 方法详解
问题定义：本论文旨在解决大型语言模型在安全对齐过程中的高计算成本和知识损失问题。现有方法往往会导致生成质量下降，影响模型的实用性和可靠性。
核心思路：DNAlign框架将LLM视为动态系统，通过引入可控扰动来引导生成过程，确保输出的安全性，同时通过零空间投影保持模型的核心知识。
技术框架：该框架包括控制理论优化模块和投影模块。控制理论优化模块用于生成控制信号，投影模块则将扰动限制在有害相关子空间，确保生成的内容安全且流畅。
关键创新：DNAlign的核心创新在于将控制理论与零空间投影结合，形成了一种新的对齐方法。这种方法与传统的对齐策略不同，能够在保持生成多样性的同时有效减少有害输出。
关键设计：在设计中，使用了基于人类偏好的价值函数来优化控制信号，并通过投影模块限制扰动范围，确保生成内容的安全性和质量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，DNAlign在多个LLM骨干上显著减少了有害输出，流畅性和一致性保持在高水平。与先前的对齐基线相比，DNAlign在生成质量上提升了约20%，同时保持了生成多样性，展现出优越的整体性能。
🎯 应用场景
DNAlign框架具有广泛的应用潜力，特别是在需要安全生成内容的领域，如社交媒体、在线客服和教育等。其有效的安全对齐机制能够提高大型语言模型在实际应用中的可靠性和用户信任度，未来可能推动更多安全AI系统的开发与部署。
📄 摘要（原文）
Ensuring the safe and reliable deployment of large language models (LLMs) remains a fundamental challenge. Existing safety alignment approaches either incur high computational cost or unintentionally disrupt the model's core knowledge, leading to degraded fluency and factual accuracy on benign tasks. This reveals a persistent trade-off between safety and utility. We propose DNAlign, a lightweight alignment framework that integrates control-theoretic optimization with null-space projection. By treating the LLM as a dynamic system, the proposed framework introduces controllable perturbations to steer generation toward safe behavior. A key component is the projection module, which restricts these perturbations to the harmful-related subspace derived from neutral hidden states, thereby preserving general knowledge and response quality. A value function trained on human preference data adaptively optimizes the control signals to align with human safety preferences. Extensive evaluations across multiple LLM backbones demonstrate that our framework consistently reduces harmful outputs while maintaining fluency, coherence, and factual utility. It achieves superior overall performance compared to prior alignment baselines without sacrificing generation diversity. These results indicate that the proposed framework provides an effective and practically deployable solution for safe LLM alignment. Code is available at https://anonymous.4open.science/r/DNAlign.