Reasoning-Preserving Fine-Tuning of Post-RL LLMs with Null-Basis LoRA

📄 arXiv: 2609.25618v1 📥 PDF

作者: Wenzhi Fang, Nicholas Tzou, Lazar Valkov, Srinivas Chappidi

分类: cs.AI

发布日期: 2026-09-22

💡 一句话要点

提出NB-LoRA以解决后强化学习LLM的推理能力保持问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后强化学习 大型语言模型 推理能力 微调 低秩适应 参数效率 模型适应 经验重放

📋 核心要点

  1. 现有方法在后强化学习模型的微调过程中容易导致推理能力的严重遗忘，影响模型的性能。
  2. 论文提出了Null-Basis低秩适应（NB-LoRA），通过构建固定的近似零空间来保持推理能力，同时进行模型适应。
  3. 实验结果显示，NB-LoRA在多个RL训练的LLM和不同下游任务中，适应性能与标准LoRA相当，推理准确性保持在接近微调前的水平。

📝 摘要（中文）

基于强化学习（RL）的后训练已成为激发大型语言模型（LLMs）推理能力的有效方法。然而，通过后续的监督微调（SFT）来适应新知识领域或行为时，可能会严重覆盖这些能力。现有方法通过经验重放、专门初始化或使用梯度投影的约束优化来减轻遗忘，但要么提供有限的保持效果，要么带来显著的训练开销。本文提出了Null-Basis低秩适应（NB-LoRA），一种高效的参数适应方法，旨在在保持推理能力的同时调整后RL LLMs。通过层级隐藏状态保持约束，NB-LoRA在微调过程中强制保持推理能力，实验表明其在适应性能上与标准LoRA相当，同时保持推理准确性接近微调前水平。

🔬 方法详解

问题定义：本文旨在解决后强化学习（RL）模型在进行监督微调时推理能力的遗忘问题。现有方法虽然尝试通过不同策略减轻遗忘，但效果有限且训练开销较大。

核心思路：论文提出的NB-LoRA方法通过构建一个固定的近似零空间，来保持推理能力的同时进行模型适应。该方法利用推理激活集中在低维子空间的特性，确保在微调过程中不损失推理能力。

技术框架：NB-LoRA的整体架构包括推理保持约束的层级隐藏状态设置和基于推理激活构建的近似零基础。微调过程中，LoRA更新通过该基础进行重新参数化，从而强制保持推理能力。

关键创新：NB-LoRA的核心创新在于利用推理激活的低维特性，构建固定的近似零空间，从而在微调过程中有效保持推理能力，与现有方法相比，提供了更高的保持效果和更低的训练开销。

关键设计：在设计上，NB-LoRA采用了层级隐藏状态保持约束，确保推理能力不被覆盖。同时，通过对推理激活的分析，构建了一个有效的近似零基础，优化了参数更新过程。具体的损失函数和网络结构设计也经过精心调整，以实现最佳的适应效果。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，NB-LoRA在多个后强化学习训练的LLM上，适应性能与标准LoRA相当，推理准确性保持在微调前水平，且在多个下游任务中表现优异，展示了其有效性和广泛适用性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能对话系统和知识图谱等。通过保持推理能力，NB-LoRA可以帮助模型在新领域中快速适应，同时保持其推理能力的完整性，具有重要的实际价值和未来影响。

📄 摘要（原文）

Reinforcement learning (RL)-based post-training has become an effective approach for eliciting reasoning capabilities in large language models (LLMs). However, adapting post-RL models to new knowledge domains or behaviors through subsequent supervised fine-tuning (SFT) can severely overwrite these capabilities. Existing approaches mitigate such forgetting through experience replay, specialized initialization, or constrained optimization using gradient projection, but either provide limited preservation or incur substantial training overhead. Our analysis shows that reasoning activations concentrate in low-dimensional subspaces, leaving substantial null-space capacity for adaptation, and that the corresponding approximate null spaces can be reliably estimated from a modest number of examples. Motivated by these observations, we propose Null-Basis Low-Rank Adaptation (NB-LoRA), a parameter-efficient method for adapting post-RL LLMs while preserving their acquired reasoning ability. We formulate reasoning retention as a layer-wise hidden-state preservation constraint and construct a fixed approximate null basis from reasoning activations. LoRA updates are then reparameterized through this basis, enforcing the preservation constraint throughout fine-tuning. Extensive experiments across multiple RL-trained LLMs and diverse downstream tasks show that NB-LoRA matches standard LoRA in adaptation performance, maintains reasoning accuracy near pre-fine-tuning levels, and generalizes this preservation to held-out reasoning benchmarks.