RAIN-Merging: A Gradient-Free Method to Enhance Instruction Following in Large Reasoning Models with Preserved Thinking Format

📄 arXiv: 2602.22538 📥 PDF

作者: Zhehao Huang, Yuhang Liu, Baijiong Lin, Yixin Lou, Zhengbao He, Hanling Tian, Tao Li, Xiaolin Huang

分类: cs.LG, cs.CL

发布日期: 2026-02-28

💡 一句话要点

RAIN-Merging：一种无梯度方法，增强大模型指令跟随能力并保留推理格式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令跟随 推理能力 模型合并 零空间投影

📋 核心要点

  1. 大型推理模型在长链推理中表现出色，但难以精确遵循指令，尤其是在输出格式和约束方面。
  2. RAIN-Merging通过将指令调优模型集成到大型推理模型中，利用零空间投影和指令注意力机制，在保留推理格式的同时增强指令跟随能力。
  3. 实验表明，RAIN-Merging在多个基准测试中显著提高了指令遵循性，同时保持了推理质量，且在不同模型规模和架构上表现稳定。

📝 摘要（中文）

大型推理模型(LRM)擅长长链推理，但常常无法忠实地遵循关于输出格式、约束或特定要求的指令。我们研究了是否可以通过将指令调优模型(ITM)集成到LRM中来弥补这一差距。通过分析它们在参数空间中的差异，即任务向量，我们发现它们的主子空间在关键模块上几乎是正交的，这表明轻量级合并具有最小的干扰。然而，我们也证明了简单的合并是脆弱的，因为它们忽略了LRM(具有显式思考和响应段)和ITM(仅答案)之间的输出格式不匹配。我们引入了RAIN-Merging(推理感知指令注意引导的零空间投影合并)，这是一种无梯度方法，它集成了指令跟随，同时保留了思维格式和推理性能。首先，使用一个小的推理校准集，我们将ITM任务向量投影到思考特殊token的前向特征的零空间上，这保留了LRM的结构化推理机制。其次，使用一个小的指令校准集，我们估计指令注意，以导出特定于模块的缩放，从而放大指令相关组件并抑制泄漏。在四个指令跟随基准和九个推理和通用能力基准上，RAIN-Merging显著提高了指令遵循性，同时保持了推理质量。这些增益在模型规模和架构上是一致的，转化为代理设置中性能的提高。

🔬 方法详解

问题定义：大型推理模型虽然擅长复杂推理，但在遵循指令方面存在不足，尤其是在输出格式和约束上。简单地将指令调优模型合并到大型推理模型中，会破坏原有的推理格式，导致性能下降。现有方法难以在增强指令跟随能力的同时，保持模型的推理能力和输出格式。

核心思路：RAIN-Merging的核心思路是在合并指令调优模型时，通过零空间投影来保护大型推理模型的推理机制，并利用指令注意力机制来增强指令相关组件，同时抑制不相关信息的泄漏。这样可以在不破坏原有推理格式的前提下，提升模型的指令跟随能力。

技术框架：RAIN-Merging包含两个主要步骤：1) 零空间投影：将指令调优模型的任务向量投影到大型推理模型中“思考”token的前向特征的零空间上，以保留其结构化推理机制。2) 指令注意力引导的缩放：使用指令校准集估计指令注意力，并导出特定于模块的缩放因子，以放大指令相关组件并抑制泄漏。

关键创新：RAIN-Merging的关键创新在于其无梯度合并方法，该方法通过零空间投影和指令注意力机制，在不进行微调的情况下，实现了指令跟随能力和推理能力之间的平衡。与现有方法相比，RAIN-Merging避免了梯度计算的复杂性，并且能够更好地保留大型推理模型的原有推理格式。

关键设计：RAIN-Merging的关键设计包括：1) 使用少量推理校准集来确定零空间投影的方向。2) 使用少量指令校准集来估计指令注意力，并导出模块特定的缩放因子。3) 针对不同的模型架构和规模，RAIN-Merging采用一致的合并策略，无需针对特定模型进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RAIN-Merging在四个指令跟随基准和九个推理及通用能力基准上进行了评估，结果表明，该方法显著提高了指令遵循性，同时保持了推理质量。实验结果在不同模型规模和架构上具有一致性，并且在代理设置中也表现出性能提升。具体性能数据和对比基线未在摘要中明确给出，需要查阅论文全文。

🎯 应用场景

RAIN-Merging可应用于各种需要大型语言模型进行复杂推理并严格遵循指令的场景，例如智能客服、自动化报告生成、代码生成和机器人控制等。该方法能够提升模型在实际应用中的可靠性和可用性，并降低人工干预的需求，具有广泛的应用前景。

📄 摘要（原文）

Large reasoning models (LRMs) excel at a long chain of reasoning but often fail to faithfully follow instructions regarding output format, constraints, or specific requirements. We investigate whether this gap can be closed by integrating an instruction-tuned model (ITM) into an LRM. Analyzing their differences in parameter space, namely task vectors, we find that their principal subspaces are nearly orthogonal across key modules, suggesting a lightweight merging with minimal interference. However, we also demonstrate that naive merges are fragile because they overlook the output format mismatch between LRMs (with explicit thinking and response segments) and ITMs (answers-only). We introduce RAIN-Merging (Reasoning-Aware Instruction-attention guided Null-space projection Merging), a gradient-free method that integrates instruction following while preserving thinking format and reasoning performance. First, with a small reasoning calibration set, we project the ITM task vector onto the null space of forward features at thinking special tokens, which preserves the LRM's structured reasoning mechanisms. Second, using a small instruction calibration set, we estimate instruction attention to derive module-specific scaling that amplifies instruction-relevant components and suppresses leakage. Across four instruction-following benchmarks and nine reasoning & general capability benchmarks, RAIN-Merging substantially improves instruction adherence while maintaining reasoning quality. The gains are consistent across model scales and architectures, translating to improved performance in agent settings.