ISO: An RLVR-Native Optimization Stack

📄 arXiv: 2607.19331v1 📥 PDF

作者: Hanqing Zhu, Wenyan Cong, Zhizhou Sha, Sagnik Mukherjee, Xinyuan Song, David González-Martínez, Xiaoxia Wu, Yuandong Tian, Shiwei Liu, David Z. Pan, Zhangyang "Atlas" Wang

分类: cs.LG, cs.AI

发布日期: 2026-07-21

备注: Preprint

💡 一句话要点

提出ISO框架以优化RLVR中的奖励反馈转换问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 强化学习 可验证奖励 等谱优化 模型优化 推理能力 权重更新 谱继承 自然语言处理

📋 核心要点

  1. 现有的RLVR优化层对奖励反馈的转化机制理解不足，导致模型性能提升受限。
  2. 本文提出等谱优化（ISO）框架，通过谱继承机制优化RLVR的权重更新过程，提升模型适应性。
  3. 实验表明，ISO-Optimizer在多个任务中显著提高了准确性，并减少了训练步骤，表现优于传统方法。

📝 摘要（中文）

强化学习与可验证奖励（RLVR）正在快速提升语言模型的推理能力，但将奖励反馈转化为权重更新的优化层仍不够清晰。基于我们之前的分析（Zhu et al., 2025），本文研究了这一缺失层次，通过模型权重的奇异结构识别出谱继承现象：RLVR可以在输入和输出奇异帧变化的同时重用基础模型的权重谱。我们将谱继承具体化为等谱优化（ISO），这是一个原生于RLVR的固定谱优化框架，包含离线和在线两种实现方式。离线的ISO-Merger将共享基础专家的帧变化合并为单一固定谱模型，无需后合并数据、回合、梯度更新或策略蒸馏。在线的ISO-Optimizer则在保持基础谱固定的情况下，应用选定的基础优化器（如AdamW和Muon）于帧变量。实验结果表明，ISO-Optimizer在多个推理和编码任务中显著提高了准确性，并在训练步骤上大幅减少。

🔬 方法详解

问题定义：本文旨在解决RLVR中优化层对奖励反馈转化机制的不清晰性，现有方法在这一方面存在显著不足，影响模型性能的提升。

核心思路：通过识别谱继承现象，本文提出等谱优化（ISO）框架，旨在在保持基础模型权重谱的同时，通过优化输入和输出的帧来实现新行为的学习。

技术框架：ISO框架分为离线和在线两种实现方式。离线的ISO-Merger将多个专家的帧变化合并为一个固定谱模型，而在线的ISO-Optimizer则在固定谱的基础上应用选定的优化器。

关键创新：ISO框架的核心创新在于谱继承的概念，使得模型能够在不完全依赖预训练优化的情况下，通过结构化的奖励驱动适应进行优化。

关键设计：ISO-Merger不需要后合并数据和梯度更新，简化了模型训练流程；ISO-Optimizer则允许使用多种基础优化器，同时保持谱的固定性，提升了训练效率。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，ISO-Optimizer在Qwen3-8B-Base模型上，使用AdamW优化器在270个训练步骤后达到0.495的准确率，而ISO-AdamW在仅100个训练步骤后便达到了相同的准确率，并在210个步骤后进一步提升至0.509，展现出显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、代码生成和其他需要高效推理的任务。ISO框架的设计可以为后续的模型优化提供新的思路，推动RLVR在实际应用中的广泛采用，提升模型的适应性和效率。

📄 摘要（原文）

Reinforcement learning with verifiable rewards (RLVR) is rapidly advancing the reasoning capabilities of language models, yet the optimization layer that converts reward feedback into weight-space updates remains poorly understood. Building on our prior analysis (Zhu et al., 2025), we study this missing layer through the singular structure of model weights and identify spectral inheritance: RLVR can reuse the base model's weight spectra while acquiring new behavior through changes in the associated input and output singular frames. We operationalize spectral inheritance as Isospectral Optimization (ISO), an RLVR-native, fixed-spectrum optimization framework with complementary offline and online instantiations. Offline, ISO-Merger combines the frame changes of shared-base specialists into a single fixed-spectrum model, requiring no post-merge data, rollouts, gradient updates, or on-policy distillation (OPD). It recovers complementary specialist capabilities and achieves the strongest aggregate performance among the compared data-free merging methods. Online, ISO-Optimizer applies a chosen base optimizer, including AdamW and Muon, to the frame variables while keeping the base spectra fixed. Across reasoning and coding tasks ranging from 1.5B to 8B parameters, ISO-Optimizer improves accuracy in the reported runs and reaches matched scores with substantially fewer training steps. On Qwen3-8B-Base, AdamW reaches an aggregate accuracy of 0.495 after 270 training steps. ISO-AdamW reaches the same accuracy after only 100 training steps and improves further to 0.509 after 210 training steps. Together, ISO offers a concrete answer to RLVR's missing optimization layer: rather than inheriting pre-training optimization wholesale, design post-training around the structure of reward-driven adaptation: inherit the spectrum, optimize the frames.