RAIN-Merging: A Gradient-Free Method to Enhance Instruction Following in Large Reasoning Models with Preserved Thinking Format

📄 arXiv: 2602.22538v1 📥 PDF

作者: Zhehao Huang, Yuhang Liu, Baijiong Lin, Yixin Lou, Zhengbao He, Hanling Tian, Tao Li, Xiaolin Huang

分类: cs.LG, cs.CL

发布日期: 2026-02-26

备注: 41 pages, ICLR 2026 Oral

💡 一句话要点

RAIN-Merging：一种无梯度方法，增强大模型指令跟随能力并保留推理格式

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令跟随 模型合并 零空间投影 指令注意力

📋 核心要点

  1. 大型推理模型在复杂推理任务中表现出色，但难以精确遵循指令，尤其是在输出格式和约束方面。
  2. RAIN-Merging通过零空间投影和指令注意力机制，将指令调优模型的指令跟随能力融入大型推理模型，同时保留其推理格式。
  3. 实验表明，RAIN-Merging在多个基准测试中显著提升了指令遵循能力，且保持了原有的推理性能，并在代理任务中表现更佳。

📝 摘要（中文）

大型推理模型（LRM）擅长长链推理，但常常无法忠实地遵循关于输出格式、约束或特定要求的指令。本文研究了是否可以通过将指令调优模型（ITM）集成到LRM中来弥合这一差距。通过分析它们在参数空间中的差异，即任务向量，我们发现它们的主子空间在关键模块中几乎是正交的，这表明轻量级合并具有最小的干扰。然而，我们也证明了简单的合并是脆弱的，因为它们忽略了LRM（具有显式思考和响应段）和ITM（仅答案）之间的输出格式不匹配。我们引入了RAIN-Merging（推理感知指令注意力引导的零空间投影合并），这是一种无梯度方法，它集成了指令跟随，同时保留了思维格式和推理性能。首先，使用一个小的推理校准集，我们将ITM任务向量投影到思考特殊token的前向特征的零空间上，这保留了LRM的结构化推理机制。其次，使用一个小的指令校准集，我们估计指令注意力以导出模块特定的缩放，从而放大指令相关组件并抑制泄漏。在四个指令跟随基准和九个推理和通用能力基准上，RAIN-Merging显著提高了指令遵循性，同时保持了推理质量。这些增益在模型规模和架构上是一致的，转化为代理设置中性能的提高。

🔬 方法详解

问题定义：大型推理模型（LRM）虽然擅长推理，但在遵循指令方面存在不足，尤其是在输出格式和约束上。指令调优模型（ITM）虽然能很好地遵循指令，但推理能力较弱。直接合并两种模型会导致输出格式不匹配，影响推理性能。

核心思路：RAIN-Merging的核心思想是在合并ITM和LRM时，既要利用ITM的指令跟随能力，又要保留LRM的推理格式。通过将ITM的任务向量投影到LRM的推理相关特征的零空间，可以避免破坏LRM的推理能力。同时，利用指令注意力机制，增强模型对指令相关信息的关注。

技术框架：RAIN-Merging包含两个主要步骤：1) 零空间投影：使用少量推理校准数据，将ITM的任务向量投影到LRM在“思考”token上的前向特征的零空间，以保留LRM的推理结构。2) 指令注意力引导的缩放：使用少量指令校准数据，估计指令注意力，并根据注意力权重对不同模块进行缩放，以增强指令相关组件，抑制无关信息。

关键创新：RAIN-Merging的关键创新在于：1) 提出了一种无梯度的合并方法，避免了训练过程中的不稳定性和计算成本。2) 利用零空间投影，在合并过程中保留了LRM的推理格式。3) 引入指令注意力机制，增强了模型对指令的关注。

关键设计：零空间投影的关键在于选择合适的“思考”token，并计算其前向特征的零空间。指令注意力的计算依赖于指令校准数据集，并用于确定不同模块的缩放比例。具体的缩放比例计算方式未知，论文中可能未详细公开。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

RAIN-Merging在四个指令跟随基准测试和九个推理及通用能力基准测试中，显著提高了指令遵循能力，同时保持了推理质量。实验结果表明，该方法在不同模型规模和架构上均有效，并且在代理设置中表现出更好的性能。具体的性能提升数据未知，需要在论文中查找。

🎯 应用场景

RAIN-Merging可应用于各种需要精确指令跟随的大型语言模型应用场景，例如智能助手、对话系统、代码生成等。该方法能够提升模型在复杂任务中的可靠性和可用性，并可用于构建更智能、更可控的AI系统。未来，该方法可以扩展到多模态模型，提升其在视觉和语言任务中的指令跟随能力。

📄 摘要（原文）

Large reasoning models (LRMs) excel at a long chain of reasoning but often fail to faithfully follow instructions regarding output format, constraints, or specific requirements. We investigate whether this gap can be closed by integrating an instruction-tuned model (ITM) into an LRM. Analyzing their differences in parameter space, namely task vectors, we find that their principal subspaces are nearly orthogonal across key modules, suggesting a lightweight merging with minimal interference. However, we also demonstrate that naive merges are fragile because they overlook the output format mismatch between LRMs (with explicit thinking and response segments) and ITMs (answers-only). We introduce RAIN-Merging (Reasoning-Aware Instruction-attention guided Null-space projection Merging), a gradient-free method that integrates instruction following while preserving thinking format and reasoning performance. First, with a small reasoning calibration set, we project the ITM task vector onto the null space of forward features at thinking special tokens, which preserves the LRM's structured reasoning mechanisms. Second, using a small instruction calibration set, we estimate instruction attention to derive module-specific scaling that amplifies instruction-relevant components and suppresses leakage. Across four instruction-following benchmarks and nine reasoning & general capability benchmarks, RAIN-Merging substantially improves instruction adherence while maintaining reasoning quality. The gains are consistent across model scales and architectures, translating to improved performance in agent settings.